Lenet S2->C3具体连接过程，C5连接情况

关于卷积神经网络CNN，网络和文献中有非常多的资料，我在工作/研究中也用了好一段时间各种常见的model了，就想着简单整理一下，以备查阅之需。如果读者是初接触CNN，建议可以先看一看“Deep Learning（深度学习）学习笔记整理系列”中关于CNN的介绍[1]，是介绍我们常说的Lenet为例，相信会对初学者有帮助。

1. Lenet，1986年
2. Alexnet，2012年
3. GoogleNet，2014年
4. VGG，2014年
5. Deep Residual Learning，2015年

Lenet

就从Lenet说起，可以看下caffe中lenet的配置文件（点我），可以试着理解每一层的大小，和各种参数。由两个卷积层，两个池化层，以及两个全连接层组成。 卷积都是5*5的模板，stride=1，池化都是MAX。下图是一个类似的结构，可以帮助理解层次结构（和caffe不完全一致，不过基本上差不多）

 

对于卷积层，其计算公式为

其中K表示由L层到L+1层要产生的feature的数量，表示“卷积核”，表示偏置，也就是bias，令卷积核的大小为5*5，总共就有6*（5*5+1）=156个参数，对于卷积层C1，每个像素都与前一层的5*5个像素和1个bias有连接，所以总共有156*28*28=122304个连接（connection）。

对于LeNet5，S2这个pooling层是对C1中的2*2区域内的像素求和再加上一个偏置，然后将这个结果再做一次映射（sigmoid等函数），所以相当于对S1做了降维，此处共有6*2=12个参数。S2中的每个像素都与C1中的2*2个像素和1个偏置相连接，所以有6*5*14*14=5880个连接（connection）。

除此外，pooling层还有max-pooling和mean-pooling这两种实现，max-pooling即取2*2区域内最大的像素，而mean-pooling即取2*2区域内像素的均值。

LeNet5最复杂的就是S2到C3层，其连接如下图所示。

 

前6个feature map与S2层相连的3个feature map相连接，后面6个feature map与S2层相连的4个feature map相连接，后面3个feature map与S2层部分不相连的4个feature map相连接，最后一个与S2层的所有feature map相连。卷积核大小依然为5*5，1个像素点对应的连接数 总共有6*（3*5*5+1）+6*（4*5*5+1）+3*（4*5*5+1）+1*（6*5*5+1）=1516。而图像大小为10*10，所以共有151600个连接。

参数个数为16*(5*5+1)，核大小也为5*5

S4是pooling层，窗口大小仍然是2*2，共计16个feature map，所以32=16*2个参数，核个数*S4的像素尺寸*1个像素的连接数 =16*（(5*5)*(2*2+1)）=16*（25*(2*2+1)）=16*（25*4+25）=2000个连接。

C5是卷积层，总共120个feature map，每个feature map与S4层所有的feature map相连接，卷积核大小是5*5，而S4层的feature map的大小也是5*5，所以C5的feature map就变成了

//到底是120*(25*16+16)，还是120*（25*16+1）?  这个偏置取决于是单个块+偏置(没必要)，还是所有块卷积完之后+偏置(tensorflow里面)，等效的，都可以代码自己实现

//倾向于: bias取决于核的个数，1个核对应一个bias

 

1个map大小是5*5，用1个5*5的核做卷积，输出就是1个点，共计有120（25*16+1）=48120个连接。 参数是120*(5*5+1)。

 

F6相当于MLP中的隐含层，有84个节点，所以有84*（120+1）=10164个参数 = 84*120 + 84。F6层采用了正切函数，计算公式为，

输出层采用了RBF函数，即径向欧式距离函数，计算公式为，

以上就是LeNet5的结构。