第三周学习报告

Posted on 2026-07-23 10:11  白氏可乐可乐  阅读(0)  评论(0)    收藏  举报

学习内容

1、掌握vLLM部署框架：配置运行环境、参数含义、性能调优
2、认识大模型量化(权重与激活量化、KV Cache量化、混合精度量化)，使用主流方法(GPTQ\AWQ\GGUF)压缩大模型并部署量化
3、Docker镜像

博客园  ©  2004-2026
浙公网安备 33010602011771号 浙ICP备2021040463号-3