zz一些量化的文章,一般
https://zhuanlan.zhihu.com/p/627436535
LLM(11):大语言模型的模型量化(INT8/INT4)技术
https://mp.weixin.qq.com/s/rd9d5RLvvs_bFgq9VI6RqQ
大规模 Transformer 模型 8 比特矩阵乘简介
https://zhuanlan.zhihu.com/p/627436535
LLM(11):大语言模型的模型量化(INT8/INT4)技术
https://mp.weixin.qq.com/s/rd9d5RLvvs_bFgq9VI6RqQ
大规模 Transformer 模型 8 比特矩阵乘简介