模型量化简介

参考文献：https://cloud.tencent.com/developer/article/2027600

模型量化分为权重量化、激活值量化。将浮点数以定点数的形式表达，达到减少参量、加速运算和减少占用内存的目的。但实际上，只能确定可以减少参量，能不能加速运算要看具体的量化方法和网络结构。

量化：Q=clamp(ROUND(R/S+Z))

反量化：R=(Q-Z)*S

一些疑问：

为什么不在一开始就采取定点数的方式进行训练呢？主要是容易发生欠拟合，定点数参与训练容易发生梯度消失。

模型量化对分类任务的影响有限，对预测框、点的影响较大。这是因为精度损失累加造成的影响，而分类任务的正类只需要输出一个相对大的值，预测任务则要输出一个准确的值。

 激活值量化要比权重量化的影响大一些。