【大模型】【QWen3】autogptq量化库安装过程
过程描述
https://github.com/datawhalechina/self-llm/issues?page=1
按教程里的步骤,在autodl服务器上git官方代码库再安装
但是我这样试了之后会出现很多无法解决的报错
最常见的是:
Building cuda extension requires PyTorch(>=1.13.0) been installed, please install PyTorch first!
https://github.com/AutoGPTQ/AutoGPTQ/issues/339
最终解决
最后直接用pip指定版本安装,没想到直接安装成功了,后面运行起来貌似也没什么问题
参考:https://blog.csdn.net/m0_58656283/article/details/146375595
pip install auto-gptq==0.7.1 --no-build-isolation

浙公网安备 33010602011771号