PACT: Parameterized Clipping Activation for Quantized Neural Networks

目录

• 概
• 主要内容

Choi J., Wang Z., Venkataramani S., Chuang P. I., Srinivasan V. and Gopalakrishnan K. PACT: Parameterized clipping activation for quantized neural networks. 2018.

概

本文提出对网络中的激活值进行裁剪以实现更低量化.

主要内容

• 作者的思想很简单, 作者认为正常的 relu 往右是无界的, 这会对量化造成困难. 所以, 作者的做法就是对 relu 右侧进行一个截断:

  \[y = PACT(x) = 0.5 (|x| - |x - \alpha| + \alpha) =\left \{ \begin{array}{ll} 0, & x \in (-\infty, 0), \\ x, & x \in [0, \alpha), \\ \alpha, & x \in [\alpha, +\infty). \end{array} \right . \]

• 并且训练的时候通过 STE 进行训练:

  \[\frac{\partial y_q}{\partial \alpha} =\frac{\partial y_q}{\partial y} \frac{\partial y}{\partial \alpha} =\left \{ \begin{array}{ll} 0, & x \in (-\infty, \alpha), \\ 1, & x \in [\alpha, +\infty]. \end{array} \right., \]

  其中 \(y_q = round(y \cdot \frac{2^k - 1}{\alpha}) \cdot \frac{\alpha}{2^k - 1}\).