论文-Searching for MobileNetV3

1、引言

　　主要创新：

　　1）complementary search techniques

　　2）new efficient versions of nonlinearities practical for mobile setting

　　3）new efficient network design

　　4）a new efficient segmentation decoder

2、相关工作

　　1）novel handcrafted structures

　　　　SqueezeNet、MobileNet、ShuffleNet、CondenseNet、ShiftNet

　　2）algorithmic neural architecture search

　　3）quantization 

　　4）knowledge distillation

3、高效的mobile building blocks

　　1）MobileNet-V1:depth-wise separable convolution

　　2）MobileNet-V2:linear bottleneck and inverted residual 

　　3）MnasNet:light attention modules based on squeeze and excitation into the bottleneck

　　MobileNet-V3结合了上述三种思想

4、网络搜索

　　1）全局网络结构（block-wise）：platform-aware NAS(network architecture search) 

　　2）每层filters的数量（layer-wise）：NetAdapt algorithm 

5、网络提升

　　主要创新：重新设计网络最开始和最后computionally-expensive 的层，介绍了一种新的nonlinearity-h-swish，计算更快且对于量化更加友好。

　　1）重新设计expensive layers

　　A）之前的模型一般都将1*1 conv作为最终的layer，以展开到一个更高维的特征空间，这里是先池化再用1*1 conv升维，这样7*7的空间分辨率就变成了1*1的了。

　　B）Remove the projection and filtering layers in the previous bottleneck layer。

　　C）之前的模型倾向于使用32个filters的3*3空间卷积来作为初始层，这里引入hard swish非线性，只用16个filters就可以达到相同的准确率。

　　2）非线性

　　引入了h-swish(x)作为非线性函数：

　　

　　

 

　　3）模型架构

　　   

6、实验