VGG

简介

VGG是牛津大学VGG组提出的。VGG是Visual Geometry Group, Department of Engineering Science, University of Oxford的缩写。VGGNet获得了ImageNet 2014年比赛的亚军和定位项目的冠军，在top5上的错误率为7.5%。目前为止，VGGNet依然被用来提取图像的特征。

网络结构

总体结构概述

VGGNet的网络结构如下图所示。论文中分别使用了A、A-LRN、B、C、D、E这6种网络结构进行测试，其中，网络结构D就是著名的VGG16，网络结构E就是著名的VGG19。

• 输入是224*224的RGB图像，预处理时计算出三个通道的平均值，在每个像素上减去平均值（处理后迭代更少，更快收敛）。
• VGG由5段卷积层、3层全连接层、softmax输出层构成。
• 每段卷积之后紧接着最大池化层，max-pooling的窗口是2*2，步长设置为2。
• 前两个全连接层均有4096个通道，第三个全连接层有1000个通道，用来分类。
• 全连接层后是Softmax，用来分类。
• 所有隐藏层（每个conv层中间）都使用ReLU作为激活函数。

A、A-LRN、B、C、D、E这6种网络结构的深度虽然从11层增加至19层，但参数量变化不大，这是由于基本上都是采用了小卷积核（3x3，只有9个参数），这6种结构的参数数量（百万级）并未发生太大变化，这是因为在网络中，参数主要集中在全连接层。

经作者对A、A-LRN、B、C、D、E这6种网络结构进行单尺度的评估，错误率结果如下：

从上表可以看出：

• LRN层无性能增益（A-LRN）
• 随着深度增加，分类性能逐渐提高

详解VGG16

以网络结构D（VGG16）为例，介绍其处理过程如下：

• 输入224x224x3的图片，经64个3x3的卷积核作两次卷积+ReLU，卷积后的尺寸变为224x224x64
• 作max pooling（最大化池化），池化单元尺寸为2x2（效果为图像尺寸减半），池化后的尺寸变为112x112x64
• 经128个3x3的卷积核作两次卷积+ReLU，尺寸变为112x112x128
• 作2x2的max pooling池化，尺寸变为56x56x128
• 经256个3x3的卷积核作三次卷积+ReLU，尺寸变为56x56x256
• 作2x2的max pooling池化，尺寸变为28x28x256
• 经512个3x3的卷积核作三次卷积+ReLU，尺寸变为28x28x512
• 作2x2的max pooling池化，尺寸变为14x14x512
• 经512个3x3的卷积核作三次卷积+ReLU，尺寸变为14x14x512
• 作2x2的max pooling池化，尺寸变为7x7x512
• 与两层1x1x4096，一层1x1x1000进行全连接+ReLU（共三层）
• 通过softmax输出1000个预测结果

其简化图如下：

总结

VGG 结构简洁

VGG由5段卷积层、3层全连接层、softmax输出层构成。

小卷积核和多卷积子层

VGG使用多个较小卷积核（3x3）的卷积层代替一个卷积核较大的卷积层，一方面可以减少参数，另一方面相当于进行了更多的非线性映射，可以增加网络的拟合/表达能力。
VGG的作者认为两个3x3的卷积堆叠获得的感受野大小，相当一个5x5的卷积；而3个3x3卷积的堆叠获取到的感受野相当于一个7x7的卷积。这样可以增加非线性映射，也能很好地减少参数（例如7x7的参数为49个，而3个3x3的参数为27）。

小池化核

相比AlexNet的3x3的池化核，VGG全部采用2x2的池化核。

通道数多

VGG网络第一层的通道数为64，后面每层都进行了翻倍，最多到512个通道，通道数的增加，使得更多的信息可以被提取出来。

层数更深、特征图更宽

由于卷积核专注于扩大通道数、池化专注于缩小宽和高，使得模型架构上更深更宽的同时，控制了计算量的增加规模。

全连接转卷积（测试阶段）

这也是VGG的一个特点，在网络测试阶段将训练阶段的三个全连接替换为三个卷积，使得测试得到的全卷积网络因为没有全连接的限制，因而可以接收任意宽或高为的输入，这在测试阶段很重要。
例如，输入图像是224x224x3，如果后面三个层都是全连接，那么在测试阶段就只能将测试的图像全部都要缩放大小到224x224x3，才能符合后面全连接层的输入数量要求，这样就不便于测试工作的开展。而“全连接转卷积”，替换过程如下：

7x7x512的层要跟4096个神经元的层做全连接，则替换为对7x7x512的层作通道数为4096、卷积核为1x1的卷积。