不积跬步,无以至千里;不积小流,无以成江海。——荀子
posts - 74,comments - 8,trackbacks - 0

LeNet – 5网络

网络结构为:

输入图像是:32x32x1的灰度图像

卷积核:5x5,stride=1

得到Conv1:28x28x6

池化层:2x2,stride=2

(池化之后再经过激活函数sigmoid)

得到Pool1:14x14x6

卷积核:5x5,stride=1

得到Conv2:10x10x16

池化层Pool2:2x2,stride=2

(池化之后再经过激活函数sigmoid)

得到Pool2:5x5x16

 

然后将Pool2展开,得到长度为400的向量

经过第一个全连接层,得到FC1,长度120

经过第二个全连接层,得到FC2,长度84

最后送入softmax回归,得到每个类的对应的概率值。

 

网络结构图如下:

 

 

LeNet大约有6万个参数

可以看出,随着网络的加深,图像的宽度和高度在缩小,与此同时,图像的通道却在不断的变大。

 

注:LeNet论文中的一些细节与现在的网络处理方式有些不同。阅读原始论文时,建议精读Section2,泛读Section3。不同点有以下几点:

1)论文中使用Sigmoid函数作为激活函数,而现在我们一般使用ReLU等作为激活函数;

2)现在我们使用的每个卷积核的通道数都与其上一层的通道数相同,但是LeNet受限于当时的计算机的运算速度,为了减少计算量和参数,LeNet使用了比较复杂的计算方式;

3)LeNet网络在池化层之后再进行非线性处理(即激活函数),现在的操作是经过卷积之后就经过非线性处理(激活函数),然后再进行池化操作;

 

 

AlexNet

输入图像:227x227x3的RGB图像(实际上原文中使用的图像是224x224x3,推导的时候使用227x227x3会好一点)

Filter1:11x11,stride=4

得到Conv1:55x55x96

Max-POOL1:3x3,stride=2

得到Conv2:27x27x96

Filter2: 5x5,padding=same

得到Conv3: 27x27x256

Max-Pool2: 3x3,stride=2

得到Conv4: 13x13x256

Filter3: 3x3,padding=same

得到Conv5: 13x13x384

Filter4: 3x3,padding=same

得到Conv6: 13x13x384

Filter5: 3x3,padding=same

得到Conv6: 13x13x256

Max-Pool3: 3x3,stride=2

得到Conv7: 6x6x256

 

然后将Conv7展开,得到一个长度为6x6x256=9216的向量

经过第一个全连接层

得到FC1: 4096

经过第二个全连接层

得到FC2: 4096

 

最后使用softmax函数输出识别的结果

 

 

       AlexNet包含大约6000万个参数。

       AlexNet使用了ReLU激活函数;

  AlexNet也使用了LRN层(Local Response Normalization,局部响应归一化层),但是由于LRN可能作用并不大,应用的比较少,在此不再详述。

 

 

VGG-16

VGG16网络包含了16个卷积层和全连接层。

VGG网络的一大优点是:简化了神经网络结构。

VGG网络使用的统一的卷积核大小:3x3,stride=1,padding=same,统一的Max-Pool: 2x2,stride=2。

 

 

 

  VGG16是一个很大的网络,总共包含1.38亿个参数。因此其主要缺点就是需要训练的特征数量非常巨大。

       另外也有VGG19网络,由于VGG16表现几乎和VGG16不分高下,所以很多人还是会使用VGG16。

 

 

残差网络(Residual Networks,ResNet)

  因为存在梯度消失和梯度爆炸(vanishing and exploding gradients),非常深的网络是很难训练的。

       ResNet由残差块(Residual block)组成,

       信息流从a[l]到a[l+2],普通的网络需要经过以下几个步骤,称为主路径。

Shortcut/skip connection指a[l]跳过一层或者好几层,从而将信息传递到神经网络的更深层。

 

Shortcut/skip connection在进行ReLU非线性激活之前加上,如下图所示:

 

 

如果我们使用标准的优化算法训练一个普通网络,凭经验,你会发现随着网络深度的加深,训练错误会先减少,然后增多。而理论上,随着网络深度的加深,应该训练的越来越好才对,但是实际上,如果没有残差网络,对于一个普通的网络来说,深度越深意味着用优化算法越难训练。但是有了ResNet就不一样了,即使网络再深,训练的表现却不错,比如说错误会减少,就算训练深度达到100层的网络也不例外。 这种方式确实有助于解决梯度消失和梯度爆炸问题,让我们在训练更深网络的同时,又能保证良好的性能。

注:上图中,Plain network指的是没有加上蓝色单箭头线的网络;ResNet指的是画上蓝色箭头线的网络。

 

为什么ResNet能有如此好的表现?

  上面讲到,一个网络越深,它在训练集上训练网络的效率会有所减弱,这也是有时候我们不希望加深网络的原因,但是ResNet却能克服这个问题。

       假设有一个大型的神经网络,其输入为X,输出激活值a[l],如果你想增加这个神经网络的深度,比如下图,在原网络后面再加上两层全连接层,得到新的激活函数a[l+2]。

 

 

  Shortcut使得我们很容易得出a[l+2]=a[l],这意味着即使给神经网络增加了这两层,它的效率也并不逊色于更简单的神经网络。因为只要使得新添加的两层的权重和偏置为0,那么新网络就跟原始网络效果是一样的。但是如果新添加的这些隐层单元学到一些有用信息,那么它可能比学习恒等函数表现更好。

       具体可以看这篇文章:http://www.cnblogs.com/hejunlin1992/p/7751516.html

 

       假设z[l+2]与a[l]具有相同维度,所以ResNet使用了许多相同卷积

       如果输入与输出有不同的维度,比如说输入的维度是128,a[l]的维度是256,再增加一个矩阵Ws,Ws是一个256x128维度的矩阵,所以Ws乘以a[l]的维度是256,你不需要对Ws做任何操作,它是通过学习得到的矩阵或参数,它是一个固定的矩阵,padding的值为0 

 

 

 内容主要来自与:

Andrew Ng的卷积神经网络课程

posted on 2018-02-15 13:40 hejunlin 阅读(...) 评论(...) 编辑 收藏