论文《Movement Pruning: Adaptive Sparsity by Fine-Tuning》

论文提出里一种movement pruning,该方法将在训练的过程中同时更新模型权重和权重的重要分数，同时提出里两种修剪版本：硬和软。硬剪枝直接取前v%的权重，软剪枝则设定一个分数阈值，权重分数超过该阈值则选择保留。反向传播时，权重分数的梯度计算如下。

 

 L为损失函数，S为分数，W为权重，其中，M是Mask编码。

 

 

 图一时传统的幅度剪枝，着重与剪除权重值接近0的部分。图二是该论文的剪枝，能够剪去各个区域的权重（不关权重大小）。

开源代码：https://github.com/huggingface/block_movement_pruning