CNN 发展历程

CNN 发展历程
• LeNet (1998)：局部感受野 + 池化，第一次真正提出 CNN
• AlexNet (2012)：ReLU + Dropout + 数据增强 + GPU，加速深度网络训练
• VGG (2014)：3×3 小卷积堆叠，结构简洁、可扩展
• Inception (2014–15)：多尺度卷积 + 1×1 降维，提高效率
• ResNet (2015)：残差连接，解决深层退化问题，网络可堆百层
• DenseNet (2016)：密集连接，特征复用、梯度更顺畅
• MobileNet (2017)：深度可分离卷积，轻量化，高效
• EfficientNet (2019)：复合缩放（深度×宽度×分辨率），自动化寻优

每个时间点的优化本质都围绕三条主线：
1. 让网络更深而不难训练（ReLU、BN、残差、密集连接）；
2. 让计算更高效（小卷积、Inception、多分支、可分离卷积
3. 让模型泛化更强（数据增强、Dropout、自动化缩放）。

关键 CNN 发展对应的论文 / 文档

时间	进展 / 架构	论文 / 报告 / 文档	链接	备注 / 阅读重点
1998	LeNet-5	Gradient-Based Learning Applied to Document Recognition (Y. LeCun 等, 1998)	IEEE 原文 | PDF	经典原始论文，定义卷积层 + 池化 + 层次结构，是早期 CNN 基石。
2012	AlexNet	ImageNet Classification with Deep Convolutional Neural Networks (Krizhevsky, Sutskever, Hinton, 2012)	NeurIPS 论文 | PDF	现代 CNN 复兴的里程碑，重点看 ReLU、Dropout、GPU 实现、LR 调度/正则化。
2014	VGG	Very Deep Convolutional Networks for Large-Scale Image Recognition (Simonyan & Zisserman, 2014)	arXiv:1409.1556 | PDF	使用 3×3 小卷积堆叠，结构简洁规整，易于扩展。
2014–15	Inception / GoogLeNet	Going Deeper with Convolutions (Szegedy et al., 2015)	arXiv:1409.4842 | PDF	引入 Inception 模块、1×1 卷积做降维，是多尺度卷积思想的经典表达。
2015	ResNet	Deep Residual Learning for Image Recognition (Kaiming He et al., 2015)	arXiv:1512.03385 | PDF	引入残差结构，能训练极深网络的关键突破。
2016	DenseNet	Densely Connected Convolutional Networks (Huang et al., 2016)	arXiv:1608.06993 | PDF	提出密集连接，特征复用、梯度更顺畅，参数效率高。
2017	MobileNet	MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications (Howard et al., 2017)	arXiv:1704.04861 | PDF	引入 depth-wise separable convolution，是轻量化 CNN 的代表。
2019	EfficientNet	EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (Mingxing Tan & Quoc V. Le, 2019)	arXiv:1905.11946 | PDF	提出“复合缩放”策略（同时扩深、扩宽、提高输入分辨率），效果显著。
2017 补充	ShuffleNet	ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices (Zhang et al., 2017)	arXiv:1707.01083 | PDF	引入通道分组 + 通道洗牌（channel shuffle），在资源受限设备上高效。