极简经典卷积神经网络

引言：卷积神经网络作为CV任务的常规网络，不论是优化网络特征工程还是优化任务，总是离不开网络结构，因此要对CNN架构发展进行了解。从LeNet奠定了CNN的基本构造后，经历了加深网络、加宽网络、注意力机制、精简网络、网络架构搜索这样的阶段。本博文对网络的发展进行极简地整理，主要列出了提纲，需要结合参考的博文来看。

参考博文：https://zhuanlan.zhihu.com/p/76275427

基础网络架构

• 1998：卷积神经网络鼻祖LeNet
• 2012-2014： 经典卷积神经网络
• 2012年AlexNet
• 双GPU运算
• LRN局部响应归一化
• 采用ReLU
• 数据增强
• DropOut—集成学习
• 2014年VGG
• 堆叠小感受野的卷积形成大感受野卷积
• 加深网络
• 模块化堆叠（多个卷积形成一个模块）
• 2014年NIN
• 使用1x1卷积：通道的非线性组合，通道的维度上升/下降
• 2014年googleNet及以后的Inception
• 多分支计算+concatenate
• 2015年 inceptionV2提出BN
• 2015年底 inceptionV3 提出4个设计原则
• Avoid representational bottlenecks, especially early in the network.
• Higher dimensional representations are easier to process locally within a network.
• Spatial aggregation can be done over lower dimensional embeddings without much or any loss in representational power.
• Balance the width and depth of the network.
• 1x1卷积升维后再池化
• 2016年 InceptionV4
• 结合resNet和googleNet
• 2016年 Xception
• 空间相关性和通道相关性可以完全解耦
• 单个1x1卷积后接3x3卷积，先建模通道相关性后空间相关性
• 2015年底ResNet
• 残差连接
• 2016年DenseNet
• 每层feature map进行复用
• 2017 ->： 开辟CNN新模式（注意力机制、轻量化模型）
• 2017年 SENet 注意力机制
• GAP+NLP+sigmoid建模空间注意力
• CBAM使用与se-block相同形式建模空间注意力，并利用均值池化和最大值池化
• DANet使用与NNL相同形式建模通道注意力
• 2017年mobileNet
• Depth-wise卷积+point-wise卷积
• 2017年 shuffleNet
• 2019年 EfficientNet
  • 三种方式拓展网络：
    • 深度depth：卷积层数量
    • 宽度width： 通道数
    • 分辨率大小
  • 复合系数结合三者，并运用NAS技术
  • 进行实验说明了三者和精度具有非线性正相关
  • 大量的实验来验证想法，并给出基本的EfficientNet-B0