shufflenet v1

一、网络结构的主要改进:

shufflenet v1主要提出了pointwise group convolution 和 channel shuffle 结构,在保持模型精度的前提下,进一步减小了网络的计算量

1、pointwise group convolution

自mobilenet v1出来后,对于小网络模型,其主要结构就是1 × 1的卷积核,所以模型的计算量主要集中在 1 × 1 的卷积运算上,为了提升模型的推理
速度,需要进一步减少 1 × 1 的卷积核的个数,如果直接减少 1 × 1 的卷积层的通道数,会导致模型精度损失严重。为了解决该问题,作者提出了 pointwise group convolution
结构,实际上就是对原始的 1 × 1 的layer,使用了分组卷积,在保留输出通道数不变的情况下进一步减少了计算量。

2、channel shuffle

但是分组卷积有其自身的缺点,每次卷积运算只作用于相应组的输入通道,如果堆叠多个分组卷积,则最终输出中的特定通道特征图只来源于相应组的输入通道,
从而削弱了网络的表达能力,为了解决该问题,作者提出了 channel shuffle 操作。具体如下图

3、ShuffleNet Unit

针对上文中提出的pointwise group convolution 和 channel shuffle 结构,作者设计了新的ShuffleNet Unit,具体结构如下图

4、ShuffleNet 整体结构



其中g表示分组数,s表示通道数的缩放比例。

二、实验

1、ImageNet 2012 classification dataset

2、不同网络结构之间的对比






三、论文和code

posted @ 2021-09-05 21:41  blackx  阅读(112)  评论(0编辑  收藏  举报