提前安装ninja，否则编译过程会持续很长时间，pip install flash-attn --no-build-isolation。# 如果flash-attn版本高于2.1.1，下方无需安装。直接安装cuda多次尝试失败！，不要勾选安装驱动！1、安装cuda、gpu驱动、torch。# 下方安装可选，安装可能比较缓慢。统一cuda12.1版本，完美支持。继续安装如下，不然依旧会报警告！gpu

LLMs复读机问题指的是模型倾向于不适当地复制用户输入的文本或者在回复中重复使用相同的句式和短语。这种倾向可能源自模型在处理输入时的一种简便路径，即模仿而不是创造性地响应。生成的内容往往缺乏变化和新颖性，这使得交互体验变得预测性强且单调。CRF 的核心思想是训练 Transitions 矩阵，该矩阵主要是刻画 tag 与 tag 之间的变化关系。CRF的作用是通过刻画这种关系来约束模型的生成，比如

添加 CUDA_DOCKER_ARCH参数，可先尝试改为=all，无法解决的话，其他参数值自行对应cuda尝试，如：compute_75，使用make，nvcc为cuda安装位置。因硬件资源足够，则不j继续进行量化。

木彳-CSDN博客提供的代码实例解读，免去了debug的麻烦。yolov8-seg后处理，代码示例解读_yolov8分割结果处理-CSDN博客t=N7T8yolov8-seg后处理，代码示例解读_yolov8分割结果处理-CSDN博客https://blog.csdn.net/qq_22734027/article/details/134051978。

添加 CUDA_DOCKER_ARCH参数，可先尝试改为=all，无法解决的话，其他参数值自行对应cuda尝试，如：compute_75，使用make，nvcc为cuda安装位置。因硬件资源足够，则不j继续进行量化。