2024年12月21日
摘要: 20241220 这是一篇 23 年的论文了,主要看的点也就是Duquant 中类似的旋转矩阵,以及可学习的权重矩阵,也就是 LWC. Qmniquant 使用了 可学习的权重和可学习的等价交换 LET 策略,可微的平滑策略 之前的工作是直接把量化的阈值设置为可学习的,而 Omniquant 的工作 阅读全文
posted @ 2024-12-21 12:21 wfftty 阅读(143) 评论(0) 推荐(0)