2025年3月13日
什么是大模型的量化和蒸馏
摘要： Quantization (量化) & Knowledge Distillation(蒸馏) Ollama：量化技术 量化是一种将模型中的浮点数参数（如32位浮点数）转换为低精度数值（如8位整数）的技术。通过减少数值的精度，可以显著减少模型的计算复杂度和存储需求。 量化类型： 1.权重量化：仅对模型 阅读全文
posted @ 2025-03-13 12:45 Michael_Z 阅读(700) 评论(0) 推荐(0)