边界框回归（Bounding-Box Regression）

转自http://caffecn.cn/?/question/160，作者沁心风雨。

相比传统的图像分类，**目标检测不仅要实现目标的分类，而且还要解决目标的定位问题，即获取目标在原始图像中的位置信息**。在不管是最初版本的RCNN，还之后的改进版本——Fast RCNN和Faster RCNN都需要利用边界框回归来预测（矫正）物体的目标检测框，以提高最终的检测精度。因此掌握边界框回归（Bounding-Box Regression）是极其重要的，这是熟练使用RCNN系列模型的关键一步，也是代码实现中比较重要的一个模块。接下来，我们对边界框回归（Bounding-Box Regression）进行详细介绍。

1.问题理解（为什么要做Bounding-box regression？）

　　

（图１）

　　如图１所示，绿色的框为飞机的Ground Truth，红色的框是Selective Search提取的Region Proposal。那么即便红色的框被分类器识别为飞机，但是由于红色的框定位不准（IoU<0.5），那么这张图相当于没有正确的检测出飞机。如果我们能对红色的框进行微调，使得经过微调后的窗口跟Ground Truth 更接近，这样岂不是定位会很准确。确实，Bounding-box regression就是用来微调这个窗口的。

2.问题数学表达（回归/微调的对象是什么？）

（图２）

    　对于窗口，一般使用四维向量（x,y,w,h）来表示，分别表示窗口的中心点坐标和宽高。对于图２，红色的框Ｐ代表原始的Proposal候选目标框，蓝色的框$ \color{Blue}{\widehat{G}} $代表边界框回归算法预测的目标框，绿色的框Ｇ代表目标的Ground Truth真实目标框，红色圆圈代表选候选目标框的中心点，绿色圆圈代表选真实目标框的中心点，蓝色圆圈代表选边界框回归算法预测目标框的中心点。我们的目标是寻找一种关系使得输入原始的窗口Ｐ经过映射得到一个跟真实窗口Ｇ更接近的回归窗口$ \color{Blue}{\widehat{G}} $。

       首先我们对边界框回归的输入数据集进行说明。输入到边界框回归的数据集为  ，其中  ，  。  代表第  个带预测的候选目标检测框即region proposal。  是第  个真实目标检测框即ground-truth。在RCNN和Fast RCNN中，  是利用选择性搜索算法进行获取；Faster RCNN中，  是利用RPN（Region Proposal Network，区域生成网络）获取。在  中，  代表候选目标框的中心点在原始图像中的  坐标，  代表候选目标框的中心点在原始图像中的  坐标，  代表候选目标框的长度，  代表候选目标框的宽度.  的四维特征的含义与是一样的。

       那么边界框回归所要做的就是利用某种映射关系，使得候选目标框（region proposal）的映射目标框无限接近于真实目标框（ground-truth）。将上述原理利用数学符号表示如下：在给定一组候选目标框  ，寻找到一个映射 ，使得  。

3.问题解决方案（Bounding-box regression)

那么经过何种变换才能从图２的窗口P变为窗口$ \color{Blue}{\widehat{G}} $呢？

比较简单的思路就是：

    (１) 先做平移 ，。

    这实际就是R-CNN论文中的：

             

             

    (２) 然后再做尺度缩放，，

    对应论文中：

            

            

　　观察公式（１）－（４）我们发现，我们需要学习的是这四个变换。

　　下一步就是设计算法得到这四个映射。当输入的Proposal与Ground Truth相差较小时（R-CNN设置的是IoU>0.6），可以认为这种变换是一种线性变换，那么我们就可以用线性回归来建模对窗口进行微调。

　　注意：只有当Proposal和Ground Truth比较接近时（线性问题），我们才能将其作为训练样本训练我们的线性回归模型，否则会导致训练的回归模型不work（当Proposal跟GT离得较远，就是复杂的非线性问题了，此时用线性回归建模显然不合理）。这个也是G-CNN：an Iterative Grid Based Object Detector多次迭代实现目标准确定位的关键。

    　线性回归就是给定输入的特征向量Ｘ，学习一组参数Ｗ，使得经过线性回归后的值跟真实值Ｙ(Ground Truth)非常接近，即。那么Bounding-box中我们的输入以及输出分别是什么呢？

    　输入：Region Proposal -> ，这个是什么呢？输入就是这四个数值吗？其实真正的输入是这个窗口对应的CNN特征，也就是R-CNN中的$ Pool_5 feature$。（注：训练阶段输入还包括Ground Truth，也就是下面提到的）。

        输出：需要进行的平移变换和尺度缩放，或者说是。我们的最终输出不应该是Ground Truth吗？但是有了这四个变换，我们就可以直接得到Ground Truth,这里还有个问题，根据（１）～（４）我们可以知道，Ｐ经过得到的并不是真实值Ｇ，而是预测值$ \color{Blue}{\widehat{G}} $。的确，这四个值应该是经过Ground Truth和Proposal计算得到的真正需要的平移量和尺度缩放。

这也就是R-CNN中的（６）～（９）：

        

        

        

        

我们用  对 进行监督。

        那么目标函数可以表示为，是输入Proposal的特征向量，是要学习的参数（*表示x,y,w,h，也就是每一个变换对应一个目标函数），是得到的预测值。我们要让预测值跟真实值差距最小，得到损失函数为：

        

函数优化目标为：

        

利用梯度下降法或者最小二乘法就可以得到　。 

4.测试阶段

根据3我们学习得到回归参数，对于测试图像，我们首先经过CNN提取特征，测试的变化就是，最后根据公式（１）～（４）对窗口进行回归。

 

三、相关问题

3.1 为什么使用相对坐标差?

在式（６）～（7）中 ，那么为什么要将真实框的中心坐标与候选框的中心坐标的差值分别除以宽高呢？首先我们假设两张尺寸不同，但内容相同的图像，图像如下图所示。

那么我们假设经过CNN提取得到的特征分别为  和  。同时，我们假设  为第  个真实目标框的  坐标，  为第  个候选目标框的  坐标，边界框回归的映射关系为  。那么我们可以得出：

由于CNN具有尺度不变性，因此  。那么理论上  。但是观察上图就可明显得出  ，显然由于尺寸的变化，候选目标框和真实目标框坐标之间的偏移量也随着尺寸而成比例缩放，即这个比例值是恒定不变的。

因此，我们必须对  坐标的偏移量除以候选目标框的宽，  坐标的偏移量除以候选目标框的高。只有这样才能得到候选目标框与真实目标框之间坐标偏移量值的相对值。同时使用相对偏移量的好处可以自由选择输入图像的尺寸，使得模型灵活多变。也就说，对坐标偏移量除以宽高就是在做尺度归一化，即尺寸较大的目标框的坐标偏移量较大，尺寸较小的目标框的坐标偏移量较小。

3.2 为什么宽高比要取对数?

同时在式（8）～（9）中  ，类比问题3.1，我们不禁要问为什么不直接使用宽高的比值作为目标进行学习，非得“多此一举”取对数？我们想要得到一个放缩的尺度，也就是说这里限制尺度必须大于0。我们学习的$ t_w, t_h $ 怎么保证满足大于0呢？直观的想法就是EXP函数，如公式(3), (4)所示，那么反过来推导就是Log函数的来源了。结合式（3）～（4）可以看出：$ t_w $监督$ d_w(P) $，$ t_h $监督$ d_h(P) $。

3.3 为什么IoU较大时边界框回归可视为线性变换？

当输入的 Proposal 与 Ground Truth 相差较小时(RCNN 设置的是 IoU>0.6)， 可以认为这种变换是一种线性变换， 那么我们就可以用线性回归来建模对窗口进行微调， 否则会导致训练的回归模型不 work（当 Proposal跟 GT 离得较远，就是复杂的非线性问题了，此时用线性回归建模显然不合理）。Log函数明显不满足线性函数，但是为什么当Proposal 和Ground Truth相差较小的时候，就可以认为是一种线性变换呢？

在这里我们需要回顾下在高等数学中有关等价无穷小的结论： 

也就是说当  趋向于0时，我们可有  ，即可将  近似看成线型变换。接下来我们将式(4)的后两个公式进行重写：

也就是说，当  和  趋向于0时，即  和  时，上式(6)可以近似将对数变换看成线性变换。  和  时候选目标框和真实目标框非常接近，即IoU值较大。按照RCNN论文的说法，IoU大于0.6时，边界框回归可视为线型变换。