DenseNet模型解读

导言：

传统的卷积网络在一个前向过程中每层只有一个连接，ResNet增加了残差连接从而增加了信息从一层到下一层的流动。FractalNets重复组合几个有不同卷积块数量的并行层序列，增加名义上的深度，却保持着网络前向传播短的路径。相类似的操作还有Stochastic depth和Highway Networks等。

这些模型都显示一个共有的特征，缩短前面层与后面层的路径，其主要的目的都是为了增加不同层之间的信息流动。DenseNet基于此提出了一种新的连接模式--Dense connections。

传统L层的网络仅有L个连接，在DenseNet中使用了L(L+1)/2个连接。这样做有几个明显的优点：避免了梯度消失问题，加强了特征传播，实现特征复用（feature reuse），以及实质上减少了参数量。

DenseNet在CIFAR-10, CIFAR-100, SVHN, 和ImageNet上超过了大部分的SOTA模型，使用更少的计算实现了更好的效果。

DenseNet网络结构

DenseNet使用Dense connections构成三个Dense Block，再通过几层卷积和池化。其中Dense Block中的Dense connections是通过concat实现的。

在ResNet中，残差连接的识别函数为Xi = Hi (Xi-1) +Xi-1,这里i指层数。而DenseNet中的识别函数为 Xi = Hi( [X0, X1, X2... Xi-1] )。（注：一个输入经过卷积，BN,激活函数，得到输出，这个过程可认为是一个识别函数Hi）

考虑到是使用Concat连接，若每个Block层数和通道数太多，将导致Block巨大，这里Block中每层的通道数都比较小（在本文中通道数用K表示，k取12，24，40）。这里K也表示growth rate。如每个识别函数产生k个通道，则第i层将有k0 + k x( i-1)个输入通道。

在DenseNet中，Block的结构是BN + ReLU +3x3Conv。而在DenseNet-B中使用了Bottleneck, Block的结构是BN+ReLU+1x1 Conv+BN+ReLU+3x3 Conv，在1x1处降维以减少参数。在DenseNet-C中为了使得模型更小，使用了一个超参数θ,对于通道数为k的block，其通道数在DenseNet-C中变为θk, θ取0.5。（注：DenseNet中是没有使用Bottleneck和超参数θ的，对于同时使用Bottleneck和θ的模型成为DenseNet-BC）。

DenseNet在ImageNet上的结构如上所示，这里的Block都是BN+ReLU+3x3Conv结构。

实现细节

除了用于ImageNet数据集的模型有四个Dense Block,其他都只有三个，在第一个dense block前有16通道输出、3x3卷积核大小的卷积层用于处理输入图片，（DenseNet-BC是32通道），每层卷积都使用了1个像素的padding以保持输出大小不变，在两个Dense blocks之间使用1x1卷积和2x2平均池化作为Transition Layer，在最后一个Dense blocks后使用全局平均池化，以及softmax分类器。

三个Dense blocks的feature map大小分别是32x32, 16x16, 8x8。对于一般的DenseNet，有三种结构配置：{L=40, k=12}，{L=100, k=12}，{L=100, k=24}。而对于DenseNet-BC结构，使用如下三种网络配置：{L=100, k=12}，{L=250, k=24}，{L=190, k=40}。这里L指的是模型的总层数，不是dense block的层数。（注：BN，pooling，ReLU都是不计入层数中的）。

图像输入大小为：224x224。