论文：ImageNet Classification with Deep Convolutional Neural Networks（Alex Krizhevsky 2012）

这篇论文的网络架构是一个经典的架构，基于这个架构出了很多篇改进的论文

该论文的主要贡献包括

（1）在ImageNet数据库子集上训练了一个超大规模的卷积神经网络

（2）实现了2D卷积在GPU上的代码，代码地址：http://code.google.com/p/cuda-convnet/

（3）网络包括了大量提升性能，减少训练时间的新特征，在论文第3节有介绍。

（4）利用几个有效的技巧减少了overfitting，在论文第4节介绍

论文使用的数据库是ImageNet，图片的使用过程是：首先将图片处理成256x256大小，处理方法是将原始图片进行缩放，将图片短边设置成256大小，然后在长边的中间截取256大小，就形成了256x256大小的图片。

论文的激活函数使用的是ReLU，该函数是在2010年Vinod Nair 和 Hinton的论文《Rectified Linear units improve restricted boltzman machines》提出来的

为了提高训练速度，作者采用双GPU进行训练，这种架构Ciresan在2011年论文《High-performance neural networks for visual object classification》很相似，本论文的精度更高。

网络结构如图所示

论文减少Overfitting的方法

Overfitting产生的原因之一是训练样本少，参数多，在不能减少参数数量的情况下，增加样本数量可以减少Overfitting

（1）数据加强（Data Augmentation）：第一种方法从位置着手：在256x256的原始图片上随意截224x224大小的图，这样就解决了训练图片过少的缺点。第二种方法从颜色着手：使用PCA识别出图片的主成分，主要成分是识别图片的依据，然后对图片主成分的亮度进行调整，因为亮度的改变不会令物体产生变化。不同的亮度产生不同的样本。

（2）Dropout：基本思想来源于组合分类，就是使用多种分类器，最后的结果采用投票的方式确定，类似于随机森林算法，不过在大规模深度网络的结构下，由于训练一次消耗的时间太长，不可能同一分类由多个分类其进行训练并投票。dropout的算法首次是在2012年Hinton的论文《Improving neural networks by preventing co-adaptation of feature detectors》提出的。也可以参考这篇中文博客《Deep learning：四十一(Dropout简单理解)》