LeNet-5

介绍

lenet-5卷积神经网络是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的试验系统之一。

lenet-5主要有2个卷积层、2个下抽样层（池化层）、三个全连接层3中连接方式，共7层（不包含输入层），每层都含有不同数量的训练参数。

输入层图像（一般说神经网络层数不算输入层）：

w = 32

h = 32

c = 3

卷积层1：

池化层1：

卷积层3：

池化层4：

 

卷积层5：

该层输出图像大小是1*1，看成一个像素点，每一层只有一个像素点，所以参数就不共享了

以上所有层可以理解为一个特征提取器，提取出来的是120个特征像素点。

全连接层6：

全连接输出层7：

 

 补充：

激活函数是正切函数。

LeNet中的输出层由欧式径向基（RBF）函数单元组成，每个类别对应一个径向基函数单元，每个输出RBF单元计算输入向量和该类别标记向量之间的欧式距离。距离越远，RBF输出越大。就是一个得分函数，计算输出值个标签值得距离。