摘要：### Nvidia剪枝方案介绍 目前大多数的剪枝研究处于以下两个方面 1. 绝大多数剪枝是非结构化的，属于细粒度稀疏。而细粒度稀疏其实没有那么好的加速效果 2. Coarse-grained sparsity的稀疏效果有限 （"Coarse-grained sparsity"是一种稀疏性类型，它指 阅读全文

摘要：### 数据集介绍 Cifar10数据集是经典的图像分类数据。首先下载数据并制作成**Dataset**和**DataLoader** 1. **Dataset**：`Dataset`是一个抽象类，它定义了数据的存储和访问方法。它的主要任务是加载和预处理数据。用户可以从此类派生出自定义的数据集类，以 阅读全文

摘要：# 常用剪枝工具 ### pytorch官方案例 `import torch.nn.utils.prune as prune` ```python import torch from torch import nn import torch.nn.utils.prune as prune impor 阅读全文

摘要：# 2.1修剪标准 ## 2.1.1基于权重大小的修剪标准 参考上一节，对权重做绝对值按大小修剪，或者做L1/L2范数来进行修剪 ## 2.1.2基于梯度幅度来修剪 基于前面可知，我们按照值的大小来修剪，把值小的裁剪掉了，或者说某个权重在训练过程中一直不变，直观上感觉没有那么重要。但其实这样是不对的 阅读全文

摘要：# 1非结构化剪枝 ## 1.1.1细粒度剪枝 细粒度剪枝是一种特定类型的剪枝方法，它指的是单个权重级别的剪枝。在细粒度剪枝中，模型中的每一个权重都会被独立地考虑是否需要被剪枝。这种方法的优点是可以非常精确地控制模型的大小和复杂性，因为可以精确地选择哪些权重需要被剪枝。然而，这也是一种计算复杂度较高 阅读全文