使用llamafactory遇到的坑

1、可以训练模型，加载模型，报错，老是提示缺少transformers.model或其他子包

 无论怎么改变transformers的版本都无效，原因在于远程环境的python是3.9.0，解决方式，建立虚拟环境，3.10.0

pytorch2.1.0

python3.10

cuda 12.1

 

2、量化时候按章gptmodel包，需要降低torch版本，发现少了环境变量

 

export TORCH_CUDA_ARCH_LIST="11.8"