CNN之AlexNet

AlexNet是2012年ImageNet比赛的冠军，将卷积神经网络重新拉入大众视野；
AlexNet取得较大突破（创新点）：
（1）使用了relu非线性激活函数，网络训练时收敛速度更快；
（2）标准归一化LRN，活跃的神经元对它周边神经元的抑制，有助于增长泛化能力；
（3）Dropout函数，通过修改神经网络本身结构实现防止过拟合；
（4）数据增强，通过平移，翻转，加噪声等方法从已有数据中创造出一批“新”数据，减少过拟合；
（5）采用了重叠池化（移动步长小于池化窗口长度）max-pool，提高精度，防止过拟合；
（6）使用GPU加速，两台GPU服务器同时运行，提高训练速度；

AlexNet的历史意义：
将计算机视觉工作从繁重的特征工程中解脱出来，转向思考能够从数据中自动提取需要的特征，做到数据驱动。
注意：输入图像的尺寸需要resize为227*227*3，确保第一层卷积的感受野可以完全覆盖；

收获：理解该网络基本架构之后，在pycharm上尝试自己搭建，不同于以前的看他人建好的神经网络，当以为对卷积网络比较熟悉，动手写才知道有一些关键点自己根本没弄明白，仅仅是看只会流于表面，动手写才能贯彻。实际操作时很多细节的地方会有疏忽，包括tensorflow的变量定义指定参数，交叉熵，滑动平均的调用如何作用在可训练的参数上，运行会话时喂入神经网络数据时的规范。本次搭建网络的过程也是再学习的一个过程，不断尝试，报错，修改，这其中不论是对tensorflow还是对卷积网络都有了更深入的理解。在以后的工作中，将学习到的原理多实践出来，也许会不断出现问题，但可以发现自己不足之处，进而学习解决，得到提高。