【大模型】【Qwen1.5】NameError: name ‘QuantizeConfig‘ is not defined

问题描述

部署INT4量化版本的QWen1.5 7b模型时，最后出现了这样的报错：
NameError: name ‘QuantizeConfig‘ is not defined
应该还是由于transformers、optimum和peft这几个库的版本不匹配造成的

解决：

参考：https://blog.csdn.net/qq_39667279/article/details/156129148

pip uninstall -y optimum auto-gptq transformers
pip install transformers==4.51.0
pip install optimum==1.26.1
pip install auto-gptq==0.7.1 --no-build-isolation
pip install peft==0.7.1

我这里的autogptq已经下载了项目里需要的版本了，所以就没有重新下载
只重新下了transformers、optimum和peft的版本
重新运行后上述报错消失