Convolutional Neural Networks (LeNet)--翻译

说明：

本文是翻译了《Convolutional Neural Networks(LeNet)》

http://deeplearning.net/tutorial/lenet.html#lenet

为了督促自己学习Deep Learning和实际应用Theano，尝试翻译文章。当做笔记用，翻译的不好请见谅。

 

卷积神经网络

动机

    卷积神经网络（CNN）是MLP的变种，受到了生物学得启发。自从Hubel和Wiesel关于猫的视觉皮层的研究，我们知道在视觉皮层中存在复杂的层次结构。那些细胞对输入空间的小区域敏感，称作感知区域，并且以这种方式布满了整个视觉区域。这种过滤器在输入空间上是局部的，因此可以更好的研究自然图像的强空间局部关联性。

    另外，可以确定两种基本的细胞类型：简单细胞(S)和复杂细胞(C).简单细胞在它们的感知区域内最大限度的响应具体的边相连的刺激。复杂细胞具有更广的感知区域，并且对于刺激的准确位置是局部不变。(这一段翻译的不好)

    视觉皮层是视觉系统最有力的模拟，许多基于神经元的模型可见参考文献。例如：the NeoCognitron [Fukushima], HMAX [Serre07] and LeNet-5[LeCun98],。

稀疏联通

    CNN通过强制相邻层之间的局部联通模式来研究空间的局部相关性。第m隐含层和第m-1层连接。假设第m-1层是输入视网膜层，第m层感知区域宽度为3，因此只和m-1层的相邻的3个神经元连接。第m层的神经元对下层具有相同的感知区域。我们说他们对于下层的感知区域是3，但是对于输入层的感知区域是5.这种结构把过滤器局限为局部模式。如上，堆积好多层，第m+1隐含层可以编码出输入层的非线性特征。

共享权重

    在CNN中，每个稀疏的过滤器hi附加在整个视觉层。这些附加单元组成了特征映射，共享权重参数，也就是具有相同的权重向量和相同的偏置项。