论文：Multi-column Deep Neural Networks for Image Classification（Ciresan 2012）

可以参考部分中文译文《基于交通路标分类的多列深度神经网络（MCDNN）》

论文在intrudction部分比较详细的介绍了DNN的发展，从DNN的提出，到精华、简化，再到应用范围扩大到3D、人脸、手写字符，再到使用GPU训练。该论文也是基于GPU计算的，性能超过以前所有的研究。作者的结论是正确训练大的、深的DNNs能过超越以前的所有方法，同时也证明了“无监督初始化/预训练”对深度网络的帮助不大。如果将多个DNN网络列在一起组成多列的DNN网络（MCDNN）能降低错误率30-40%。其实其解决问题的思想采用多特征融合的思想，将多DNN的特征值融合在一起取均值，能降低错误率。我对该论文的关注点是intruduction部分对DNN的概述。

2 网络架构

深度神经网络通常的做法是在训练集上随机初始化若干的权重，通过多次迭代的有监督训练使错误分类最小，训练好一套权值后使用测试集进行测试。本文的网络架构稍有不同。

（1）是深层网络，有6-10层，层之间的非线性神经元堆叠在彼此之上，相当于猕猴的视网膜和视觉皮层之间的层数。

（2）Hochreiter, Bengio在2001年的论文《Gradient flow in recurrent nets: the difficulty of learning long-term dependencies》指出，从数学算法角度来看，多层网络很难使用标准的梯度下降算法训练。由于现代的计算机的计算能力足够强大，再加上使用GPU并行运算，理论上只要有足够的带标签的训练数据，就不需要诸如无监督预训练等启发式算法。

（3）本文的DNN有2个维度的层次从权值共享的相互重叠的感受野中取激活的神经元。输入一些数据，使用简单的池化技术，通过局部抑制的二次区域划分来选择每个区域的最活跃的神经元。这些选中的神经元作为下一层的输入数据。这种做法的理论依据是Wisel和 Hubel在1959年的经典论文《Receptive fields of single neurones in the cat’s striate cortex》。

（4）也许一些下采样的点会自动成为第一个1维的层，可能成为“赢者通吃”（winner-take-all）的区域，顶层部分成为多层感知机。

winner-take-all:自组织网络常采用的一种学习策略。实验表明，当一个神经元细胞兴奋后，会对周围神经元的神经细胞产生抑制作用，使得神经细胞之间出现竞争，开始可能多个细胞兴奋，但是一个兴奋程度最强的神经细胞对周围神经细胞的抑制作用也越强，其结果使得周围神经元细胞兴奋程度减弱，从而该神经元细胞在这次竞争中胜出，其他神经元失败。它们是模拟生物神经网络层内神经元相互抑制现象的权值。这类抑制性权值通常满足一定的分布关系，如距离远的抑制作用弱，距离近的抑制作用强。这种权值在学习算法中通常固定。采用的竞争学习方法就是下图中“胜者为王”的方法。

（5）仅仅胜出的神经元得到训练，其他的神经元依然保持原状。

（6）将多个DDN网络合并在一起，形成多列（柱）DNN网络，在训练之前每一个DNN网络的权值都是随机初始化的。不同列的DNN可以在相同的输入上进行训练，或者以不同的方式进行预处理。

MCDNN架构如下图

一个DNN网络结构

多列（柱）DNN网络结构