2025年8月3日
【记录】用AutoAWQ对Qwen3-32B模型做int4量化
摘要： 用AWQ算法量化Qwen3-32B大语言模型，流程记录 AWQ量化方法 论文 (arxiv) AutoAWQ 工具(Github) Qwen3-32B 模型(huggingface) 配环境 Ubuntu 24，Python 3.12.3 先装 pytorch (Nvidia GPU) pip in 阅读全文
posted @ 2025-08-03 00:38 ilxT 阅读(1252) 评论(0) 推荐(0)