从零开始实现SSD目标检测（pytorch）（一）

目录

• 从零开始实现SSD目标检测（pytorch）
  • 第一章 相关概念概述
    • 1.1 检测框表示
    • 1.2 交并比
  • 第二章 基础网络
    • 2.1 基础网络
    • 2.2 附加网络
  • 第三章 先验框设计
    • 3.1 引言
    • 3.2 先验框设计
    • 3.3 先验框可视化
    • 3.4 学习参数定义
  • 第四章 网络输出定义
  • 第五章 LOSS设计
    • 5.1 目标框匹配
    • 5.2 LOSS计算
  • 第六章 非极大值抑制

从零开始实现SSD目标检测（pytorch）

特别说明：

1. 本系列文章是Pytorch目标检测手册的翻译+总结
2. 知其然知其所以然，光看论文不够，得亲自实现

第一章 相关概念概述

1.1 检测框表示

边界宽（bounding box）是包围一个物体（objective）的框，用来表示这个物体的位置、形状、大小等信息。不是最小外接矩形，仅仅是一个转动角度为 0 的框。如下图1-1所示：

表示框的方法有很多(不赘述)，图1-1的方式为框的边界四个极值坐标\(x_{min},y_{min},x_{max},y_{max}\)。

但是这样做的有点缺点：

• 知道\(x_{min},y_{min},x_{max},y_{max}\)，我们无法知道这个目标的更多信息（比例），必须画出来才有感官
• 如果没有图像的宽高，像素值毫无用处（其实还是无法知道比例信息）

改进方式如下图1-2所示

图1-2使用比例的方式，很直观的知道目标更多的信息

但是还有一个缺点：

• 直接看这个信息，我们不知道目标长宽信息（当然你自己可以另外计算）
• 也不知道中心位置（相对于边界，我们更关心中心）

再次改进的方式如下图1-3所示：

\(c_x,c_y,w,h\)，中心点+宽高的方式，满足视觉信息最大化。

1.2 交并比

如何用来判断一个框检测的好与坏？

1. 使用交集\(A \cap B\)

直接使用交集的大小去判断好坏，大尺度和小尺度不对等

比如：A和B大小都为100，交集50. C和D大小都为10，交集5.

如何说明这两组哪个好坏？

通过上述的例子，我们发现少了一个比例问题。。。

2. 使用 \(\frac{A{\cap}B}{A{\cup}B}\)交集除以并集

完全解决上诉问题

注意：这里还存在一个关于LOSS的问题，具体可参考GIOU

第二章 基础网络

注释：这里实现的是SSD300，并非SSD512.

2.1 基础网络

当前都是使用特征提取的基础架构，VGG、ResNet、DenseNet。。。等，原作者使用VGG-16架构作为基础网络。如下图2-1所示

原始VGG-16是基于ImageNet训练的，参数优异。但是为了符合我们的设计，需要对基础网络做一定程度的修改。

• 原始输入300*300图像
• 对于池化后非整数feature map进行像上取整，比如con3_3==>>75*75，进行池化之后的大小为38 * 38，而不是37 * 37。
• 修改maxpooling_5==>>（size=3 * 3，stride=1），作用是不再将feature map的大小减半。
• 我们不需要全连接层，对 FC6 和 FC7 进行修改为conv6和conv7。直接去掉FC8

FC层修改为CONV层

说明：原作者对此进行了详细的描述，笔者这里默认大家有基础网络架构。

全连接和卷积的区别之处在于reshape！！！

也就是说卷积之后进行reshape（nuns，1）和全连接结果一样

总结：

• 大家不妨试一下，对VGG的最后全连接改为卷积，然后最后做一个reshape看看效果。
• 想一下效果一样的，CNN就是学习参数，与最后的形式无关

2.2 附加网络

我们当前已经学会如何从FC转换为CONV，以下对VGG-16进行转换。

VGG-16输入图像为224 * 224 * 3，那么conv5_3的输出也就是7 * 7 * 512。

• FC6的输入是7 * 7 * 512的一行向量，输出是4096 * 1的向量，那么参数数量为：4096 * 7 * 7 * 512，也就等于kernel=512 * 7 * 7 * 4046
• FC7的输入4096 * 1，输出为4096 * 1，也就等于kernel = 4096 * 1 * 1 * 4096

虽然转化到卷积了，但是channel太大了，512都挺大，别说4096了。。。

作者对其maxpooling和卷积进行了调整，如下图2-5所示

个人对其原因进行分析：

1. 按照转换，Conv6的输入是7 * 7的feature，卷积也是7 * 7的大小。不符合常理，feature太小，卷积核太大。
2. Conv7的channel=4096，那么深的通道完全没有必要（网络没大到那种地步）
3. 考虑到后面金字塔采样（FPN），feature得有层次感

我们添加了额外的四个卷积块，feature map的变化是通过卷积的stride=2来实现的，并非maxpooling

注意是每隔一个stride=1之后接一个stride=2，这样做的感觉是过度一下

就像maxpooling不能紧接着来maxpooling一样

第三章 先验框设计

3.1 引言

在介绍先验框（prior box）的设计之前，我们先确认一下目的：检测出目标种类和位置

我们先从种类检测入手：

以VGG-16为例，输出是1000 * 1.代表1000个种类的预测

我们事先把标签（label）编码成one-hot形式，训练结果接一个softmax，loss就可以使用交叉熵返回梯度。

没毛病，完全可以

问题一：一个图像中有两个目标呢？

我们可以让输出为1000 * 2，其他情况类似直接为1000 * nums

问题二：如何知道输出对应哪个呢？

假设输入图像为5 * 5，我们就让输出为5 * 5 * 1000，这样就可以知道每个像素属于什么label

好像这是语义分割了。。。

我们再从位置入手：

我们之前定义了bounding box的形式， $ c_x, c_y, w, h $

跟着上面VGG-16的思路走，一个目标就输出4 * 1即可

问题三：同种类一样，存在多个目标呢？

类似种类，输出4 * 1 * nums即可

问题四：同种类一样，确定对应的种类？

假设输入图像为5 * 5，我们就让输出为5 * 5 * 2，注意这里没必要输出 \(c_x, c_y\) ，因为每个像素也就知道位置了

问题五：一个像素点多个目标问题？

这种情况很少很少，可以输出5 * 5 * nums * 2，nums是一个冗余，极少情况的冗余

这里就不上图了，自己想一下即可明白，而且后面会有SSD的分类说明！

3.2 先验框设计

在3.1节中，我们知道直接输出每个像素点的框W和H即可，为什么现在又来个先验框呢？

注意：这种方式是完全可行的，大家可以移步EAST和 AdvanceEAST

我们先来说直接输出W和H的缺点：

• 深度学习学到的东西是有能力限制的，而不是说什么都可以学到（理想情况可以），比如ResNet多加了一个原始数据（ResNet模块）就能更好的学习？
• 按理说RPN模块应该过时了，为什么现在还有很多人使用？比如SiamMask目标跟踪领域
• W和H的波动幅度都很大，直接去学习较为困难，我们能不能降低学习代价？

直接抛出一个话题，对比下图3-1两种学习目标，哪个更容易学习？

毋容置疑，肯定第二章方式更容易学习，具体如何设计，且看SSD大神作者的方案

以这里为出发点，我们称事先定义的bounding box为先验框

• 我们在conv4_3, conv7, conv8_2, conv9_2, conv10_2, conv11_2.这些feature map上定义先验框 ，采用FPN（特征金字塔）进行多尺度检测的方案。
• 定义一个参数 \(s\) ，\(w * h = s^2\)，先验框最大存在于Conv4_3上，设置为0.1，也就是图像的10%大小。
• 为了进一步降低学习成本，定义不同比例的先验框。1：1、1：2、2：1等，其中每一层额外加一个1：1的框，其他的框面积都是s，而这个额外的框\(s = \sqrt{s_k*s_{k+1}}\) ，这样做的目的是为了衔接上下两个feature

Feature Map From	Feature Map Dimensions	Prior Scale	Aspect Ratios	Number of Priors per Position	Total Number of Priors on this Feature Map
conv4_3	38, 38	0.1	1:1, 2:1, 1:2 + an extra prior	4	5776
conv7	19, 19	0.2	1:1, 2:1, 1:2, 3:1, 1:3 + an extra prior	6	2166
conv8_2	10, 10	0.375	1:1, 2:1, 1:2, 3:1, 1:3 + an extra prior	6	600
conv9_2	5, 5	0.55	1:1, 2:1, 1:2, 3:1, 1:3 + an extra prior	6	150
conv10_2	3, 3	0.725	1:1, 2:1, 1:2 + an extra prior	4	36
conv11_2	1, 1	0.9	1:1, 2:1, 1:2 + an extra prior	4	4
Grand Total	–	–	–	–	8732 priors

3.3 先验框可视化

我们先看一下定义s之后的基本公式：

\[w * h = s^2 \]

\[\frac{w}{h}=a \]

\[w = s * \sqrt{a} \]

\[h = \frac{s}{\sqrt{a}} \]

下面对conv9_2进行可视化：

con9_2总共有6个框，五个框面积是0.55，一个框面积是0.63

注意：文章全部参数都是归一化之后的，请移步bounding box定义查看

大于边界直接裁断，其余feature map照部就搬即可，不再赘述

3.4 学习参数定义

在3.1节，我们对比了学习代价问题，具体的学习参数这节进行详细说明

观察上图3-3，是先验框和实际框之间的偏差图，具体我们学习哪些参数？

下面直接看作者的设计：

按照3.1节说的，为什么不直接定义成\(c_x - c_{x1}\) (帽子用x1代替)，而作者定义了除以\(w_{x1}\)

因为较大的先验对应较小的偏差时，这个偏差很难学习，会导致大目标边界不准确。

下图3-5情况一和情况二哪个学习的更好？没有归一化，根本无法使用

第四章 网络输出定义

在3.1节中已经进行了初步说明，作者的思路也是按照这个进行的

种类的输出，这个多定义个背景（background）类，也就是nums = nums + 1，当然也可以没有背景类，那么负样本就无法进行学习，会大大降低网络的鲁棒性！！！

如上图4-1所示

• 位置输出：采用3 * 3的卷积输出4个通道（这里没考虑单个像素多个目标情况），对应之前的(g_c_x, g_c_y, g_w, g_h)
• 种类输出：采用3*3的卷积输出nums个通道（这里没考虑单个像素多个目标情况），对应之前VGG-16的输出。

下面以具体的Con9_2为例，如下图4-2所示：

定位的24 = 4 * 6===>>4：输出参数，6：先验框的数量

种类的6*n_class===>>同上

更为具体的如下图5-4所示：

作者还怕读者不懂，特意举了个例子，假设就两个种类：猫和狗，一个背景

网络输出如下图5-5：

将位置和种类对应上，输出一个完整的矩阵，如下图5-6所示：

第五章 LOSS设计

5.1 目标框匹配

在计算LOSS之前，我们得先把框对应上（输出框和目标框的对应关系）

• 假设一张图有N个目标，那就需要找到N和8732（这是叠加了输出的偏差信息）个框的交集

• 为每个目标匹配一个最大交集的框

• 如果一个先验框与目标的交集小于0.5，那么就当这个先验框为负样本

• 如果一个先验框和目标的交集大于0.5，那么这个先验框为正样本，并且最大的交集为其匹配的种类

• 匹配的label都存在种类的标签

插曲： 有些人搞不懂正样本和负样本的概念

正样本：这个先验框匹配到目标框，并且用于计算位置和种类的LOSS，其中位置loss为了更好的框住目标，种类loss为了提高置信度。

负样本：这个先验框没有匹配到目标框，或者匹配到的目标框小于阈值（0.5等），并且位置不用计算loss（因为background没有框位置），种类需要计算loss，提高背景那一类的置信度。

上图5-2和5-3给出了具体的例子，容易理解不在赘述。

5.2 LOSS计算

定位LOSS

定位的loss使用SmoothL1，没什么好说的

种类LOSS

现在遇到一个问题，我们直接使用交叉熵的LOSS的话，8732个框，基本百分之八十都是负样本，而负样本学习的结果是使当前的框种类置信度更高（背景）。

这样导致的结果就是类间不平衡情况，导致背景检测很准确，可能部分目标都会检测成背景

作者采用的解决方案是：舍弃简单的负样本，重点学习困难的负样本

假设绿色为负样本框（实际背景不存在框），情况一相较于情况二更容易学习，那么我们舍弃情况一，使用情况二进行训练。

总的LOSS

其中a也是一个可以作为学习的参数（笔者没试过），原文中a=1

第六章 非极大值抑制

这一章比较简单，直接看后面代码即可