ShuffleNet / MobileNet / ResNeXt/ Xception

Group convolution

参考链接：Group Convolution分组卷积，以及Depthwise Convolution和Global Depthwise Convolution - shine-lee - 博客园 (cnblogs.com)

 

Pointwise/ Depthwise/ Groupwise convolution

参考链接：https://www.cnblogs.com/qiulinzhang/p/11541029.html

  　　　　  Depthwise卷积与Pointwise卷积 - 知乎 (zhihu.com)

Pointwise convolution的操作本质上在于将feature map的通道数进行加权求和，其卷积核的size = 1* 1,通道数为feature map的通道数，得到的feature map的通道数和卷积核的数目相同。

Depthwise convolution的操作在于，每一个通道对应一个卷积（平面，即只有一个通道），输出的feature map的通道数和输入的相同。

Groupwise convolution的操作在于将feature map的通道数进行分组，并且对卷积核进行分组，卷积核只对对应组的通道进行卷积操作。

 

残差网络

参考链接：残差网络解决了什么，为什么有效？ - 知乎 (zhihu.com)

残差网络：解决在深度网络中，使用BP算法对参数进行更新的时候，随着反向传播梯度逐渐消失，导致参数无法更新的问题；或者梯度以指数级速度增大导致参数爆炸的问题。

 

梯度弥散/爆炸问题导致模型训练难以收敛，但是这个问题很大程度上已经被标准初始化和中间层正规化方法有效控制了，这些方法使得深度神经网络可以收敛。深度神经网络面临的另一朵乌云是网络退化问题：在神经网络可以收敛的前提下，随着网络深度增加，网络的表现先是逐渐增加至饱和，然后迅速下降。

残差网络的结构和实现：