2024年4月9日
Quanto: PyTorch 量化工具包
摘要： 量化技术通过用低精度数据类型 (如 8 位整型 (int8)) 来表示深度学习模型的权重和激活，以减少传统深度学习模型使用 32 位浮点 (float32) 表示权重和激活所带来的计算和内存开销。 减少位宽意味着模型的内存占用更低，这对在消费设备上部署大语言模型至关重要。量化技术也使得我们可以针对较 阅读全文
posted @ 2024-04-09 23:47 HuggingFace 阅读(266) 评论(0) 推荐(1) 编辑