zrq96

摘要： 最近在研究大模型压缩的各种流派和好用的方法，然后发现模型稀疏分解、剪枝、蒸馏这些虽然学界研究得很多，但实际上效果都比不上量化。因此在这里整理一下对于大模型量化的一些基础。 概念 所谓模型量化，简单来说就是用更低位宽格式来表示模型的权重参数。 在我们学习C或Java的编程入门的时候，我们学过浮点数的表 阅读全文