Caffe 议事（二）：从零开始搭建 ResNet 之 网络的搭建（上）
3.搭建网络：
搭建网络之前，要确保之前编译 caffe 时已经 make pycaffe 了。
步骤1：导入 Caffe
我们首先在 ResNet 文件夹中建立一个 mydemo.py 的文件，本参考资料我们用 spyder 打开。要导入 Caffe 的话直接 import caffe 是不可以的，因为系统找不到 caffe module，这时候要告诉系统 caffe 在哪里可以导入，因此需要添加 caffe 的路径，准确地说是 caffe-master/python 路径。为了以后的方便，我们在 ResNet 中再建立一个 init_path.py，在这个文件中写入以下代码并保存：
import os.path as osp import sys # 添加路径到系统路径 def add_path(path): if path not in sys.path: sys.path.insert(0,path) # 返回当前文件所在目录 this_dir = osp.dirname(__file__) # 组合成caffe的路径 pycaffe_path = osp.join(this_dir, 'caffe-master', 'python') # 添加路径 add_path(pycaffe_path)
因为 init_path.py 是在 …/ResNet 下，所以 this_dir 这个返回的就是 …/ResNet 目录，那么 pycaffe_path = …/ResNet/caffe-master/python，这个路径添加进系统路径后，我们在 mydemo.py 中键入如下代码，然后运行，不报错就说明已经导入 Caffe 了。
import init_path import caffe import numpy as np from caffe import layers as L, params as P
Fig 10 成功导入 Caffe
步骤2：创建网络的 prototxt 文件
Caffe 里面跑网络只需要 solver.prototxt 就可以了，solver 里面含有网络的模型（包括训练和测试的网络），模型也是 prototxt 文件。因此我们需要生成 solver 的 prototxt 和网络的 prototxt 文件。我们先生成网络的 prototxt 文件，在 ResNet 文件夹中再新建一个文件夹叫 res_net_model，用来存储网络模型文件。我们补充 mydemo.py 如下：
# -*- coding: utf-8 -*- import init_path import caffe import numpy as np import os.path as osp from caffe import layers as L, params as P, to_proto this_dir = osp.dirname(__file__) def ResNet(split): pass # 生成 ResNet 网络的 prototxt 文件 def make_net(): # 创建 train.prototxt 并将 ResNet 函数返回的值写入 train.prototxt with open(this_dir + '/res_net_model/train.prototxt', 'w') as f: f.write(str(ResNet('train'))) # 创建 test.prototxt 并将 ResNet 函数返回的值写入 test.prototxt with open(this_dir + '/res_net_model/test.prototxt', 'w') as f: f.write(str(ResNet('test'))) if __name__ == '__main__': make_net()
每次执行 mydemo.py 时，首先运行 make_net()，然后在 make_net 函数中创建 prototxt 文件，将 ResNet 返回的内容写入 prototxt，那么最关键的就是在 ResNet 返回的值。我们先给出在 ResNet 数据层的例子:
def ResNet(split): # 写入数据的路径 train_file = this_dir + '/caffe-master/examples/cifar10/cifar10_train_lmdb' test_file = this_dir + '/caffe-master/examples/cifar10/cifar10_test_lmdb' mean_file = this_dir + '/caffe-master/examples/cifar10/mean.binaryproto' # source: 导入的训练数据路径; # backend: 训练数据的格式; # ntop: 有多少个输出,这里是 2 个,分别是 n.data 和 n.labels,即训练数据和标签数据, # 对于 caffe 来说 bottom 是输入,top 是输出 # mirror: 定义是否水平翻转,这里选是 # 如果写是训练网络的 prototext 文件 if split == 'train': data, labels = L.Data(source = train_file, backend = P.Data.LMDB, batch_size = 128, ntop = 2, transform_param = dict(mean_file = mean_file, crop_size =28, mirror = True)) # 如果写的是测试网络的 prototext 文件 # 测试数据不需要水平翻转,你仅仅是用来测试 else: data, labels = L.Data(source = test_file, backend = P.Data.LMDB, batch_size = 128, ntop = 2, transform_param = dict(mean_file = mean_file, crop_size =28))
有人或许有疑问，为什么会有 L.data？L.Data 里面有这么多参数怎么来的？在 spyder 上面即使打了 L. 也不会提示 L 有哪些具体的函数（只显示系统固有函数），那么如何知道的呢？在 caffe-master/src/caffe/proto/caffe.proto 里面有这些函数的介绍，这是个混合编译的文件，当然读里面的内容并不难。下面是我们详细来说明：
Fig 11 caffe.proto 数据层截图
在 caffe.proto 搜索 DataParameter，我们就能找到这些参数，那么数据层的名字叫什么呢？很简单，把 Paramter 去掉就是了，也就是 L.Data，数据层有哪些参数，参数的类型都是什么，上面写得都很清楚，我们的例子用到了 source 和 batch_size（这 2 个必须指定），其他的参数都有default 选项，source 类型是 string，我们就知道是字符串类型，那就是存数据的路径了；batch_size 是 uint32，就是数字了；backend 有点特别，是 DB 类型的，我们看上面 DB 里面有 LEVELDB 和 LMDB，那么我们写的时候这样写 backend = P.Data.LMDB 或者 P.Data.LEVELDB，因为这里 default 是 LEVELDB 格式，而我们是数据类型是 LMDB，所以要赋值 backend，其他的依次类推了。
因为 caffe 里面训练基本都是用 SGD（随机梯度下降）的方法，因此都要取样本块，一次迭代只拿一个 batch 来训练，这里 batch_size 我们就设置为 128 （当然你也可以是 100 或者其他什么，不过建议不要太大）。为什么要设置 mean_file 路径？设置这个路径是为了让数据减去它的均值，这样网络收敛会更快，效果也往往会更好，相当于一个简单的 preprocessing 的过程。为什么要设置 crop_size？设置 crop_size 为 28 意味着将原来的 3 X 32 X 32 大小的图像随机剪裁成 3 X 28 X 28 大小的图像块作为输入数据，虽然论文中作者是在原来 3 X 32 X 32 大小的图像的上下左右加上 4 层 pad，pad 的值均为 0，变成了 3 X 40 X 40 的图像，然后在这个图像上随机剪裁成 3 X 32 X 32 大小图像作为输入数据，但这里为了快速实现 ResNet 因此采用了一个折中的办法，由于输入数据大小变成了 3 X 28 X 28，所以测试数据要进行剪裁成同样大小，这种剪裁的方法是 data augmentation的一种，可以增加样本的多样性。为什么要设置 mirror？mirror 设置为 True 意味将剪裁后的图像进行随机水平翻转，既要么翻转要么不翻转。跟上面的 data augmentation 一样，也是一种增加样本多样性的方法，我们认为图像经过水平翻转之后里面的物体仍然是那个物体。
数据层我们定义好了以后，接下来我们定义 ResNet Block，因为 ResNet Block 是有规律的，所有我们再额外写一些函数，补充代码如下：
def conv_BN_scale_relu(split, bottom, nout, ks, stride, pad): conv = L.Convolution(bottom, kernel_size = ks, stride = stride, num_output = nout, pad = pad, bias_term = True, weight_filler = dict(type = 'xvaier'), bias_filler = dict(type = 'constant'), param = [dict(lr_mult = 1, decay_mult = 1), dict(lr_mult = 2, decay_mult = 0)]) if split == 'train': # 训练的时候我们对 BN 的参数取滑动平均 BN = L.BatchNorm( conv, batch_norm_param = dict(use_global_stats = False), in_place = True, param = [dict(lr_mult = 0, decay_mult = 0), dict(lr_mult = 0, decay_mult = 0), dict(lr_mult = 0, decay_mult = 0)]) else: # 测试的时候我们直接是有输入的参数，BN 的学习率惩罚设置为 0，由 scale 学习 BN = L.BatchNorm( conv, batch_norm_param = dict(use_global_stats = True), in_place = True, param = [dict(lr_mult = 0, decay_mult = 0), dict(lr_mult = 0, decay_mult = 0), dict(lr_mult = 0, decay_mult = 0)]) scale = L.Scale(BN, scale_param = dict(bias_term = True, in_place = True)) relu = L.ReLu(scale, in_place = True) return scale, relu
Fig 12 conv_BN_scale_relu 函数输入到输出结构
对 conv_BN_scale_relu 函数的解释：输入的数据为 bottom，nout 是卷积核的个数，也等于输出数据的通道数，ks 是卷积核的大小，3 的意思是 3 X 3 大小的卷积核，stride 意思是步长，pad 的意思是在输入数据上下左右补多少层 0，卷积之后我们还对数据进行 BN（BatchNormalization）操作，为什么要进行 BN，《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》这篇论文讲到过会加速网络的训练速度，具体这里就不讲了，然而 caffe 中 BN 层并不能学习到 α 和 β 参数，因此要加上 scale 层学习，这是作者在 ResNet code主页上 https://github.com/KaimingHe/deep-residual-networks 提到的：
经过scale层之后，我们再经过一个激活函数ReLU，我们返回的值是scale层的输出和ReLU的输出，这样可以供我们选择。下面讲解另外的一个函数：
def ResNet_block(split, bottom, nout, ks, stride, projection_stride, pad): # 1 代表不需要 1 X 1 的映射 if projection_stride == 1: scale0 = bottom # 否则经过 1 X 1，stride = 2 的映射 else: scale0, relu0 = conv_BN_scale_relu(split, bottom, nout, 1, projection_stride, 0) scale1, relu1 = conv_BN_scale_relu(split, bottom, nout, ks, projection_stride, pad) scale2, relu2 = conv_BN_scale_relu(split, bottom, nout, ks, stride, pad) wise = L.Eltwise(scale2, scale0, operation = P.Eltwise.SUM) wise_relu = L.ReLu(wise, in_place = True) return wise_relu
我们在 ResNe t结构介绍部分中提到了网络的结构，发现输入数据经过 2 次卷积操作后再与输入数据相加即为 ResNet 的基本结构，因此这个 ResNet_block 就定义了这个部分。
Fig 13 ResNet_bloc k函数输入到输出的结构
