目标检测入门——5.Faster R-CNN网络结构及原理解析

Faster R-CNN网络结构
一、Faster R-CNN网络结构
第一阶段：产生候选区域
（1）使用Anchor替代Selective Search，选取候选区域。
（2）选出包含物体的Anchor进入Rol Pooling提取特征。
第二阶段：对候选区域进行分类并预测目标物体位置

二、RPN网络结构

1. RPN层是怎么提取候选区域的
   （1）关于Anchor（锚框）
   Anchor：特征图上的每个点作为中心点，生成多个大小比例不同的边界框，这些框成为Anchor。
   如图中红色、蓝色和绿色代表三种Anchor，它们的大小不同。而每种Anchor又分成了长宽比为1：2、1：1、2：1的三个Anchor。期望能让边界框包含到真实框。
   特征图每个位置生成9个Anchor。
   

2. 过程
   （1）输入：conv feature map。将骨干网络的输出作为整体RPN结构的输入。
   （2）过程：首先经过一个33的卷积，然后分成两个分支分别使用11的卷积得到分类分支和回归分支。前面提到了特征图每个位置生成9个Anchor，也就是图中可以取k=9。在分类分支需要2k scores来判断Anchor是否包含一个物体；在回归分支中，需要4k scores来判断Anchor和真实框的相对位置。
   （3）输出：将RPN部分的输出和Anchor进行结合，得到RPN网络的输出，也就是最终的候选框，之后进入最终的计算。
   

三、RPN网络训练策略

1. 向RPN网络输入一个监督信息，判断Anchor是否包含物体。
   Anchor包含物体：正样本
   Anchor不包含物体：负样本
2. 根据Anchor和真实框IoU取值，判断正or负样本。
   正样本：与某一真实框IoU最大的Anchor或与任意真实框IoU>0.7的Anchor
   负样本：与所有真实框IoU<03的Anchor
3. 采样规则
   共采样256个样本
   从正样本中随机采样，采样个数不超过128个
   熊负样本中随机采样，补齐256个样本

四、RPN网络监督信息

1. 分类分支：anchor是否包含物体。正样本：1；负样本：0
2. 回归分支：anchor到真实框的偏移量。
   补充：（1）下图中红色框为真实框，黄色框为Anchor，黄色箭头则为偏移量。
   （2）下图中的公式则为具体的计算方法.x，y为中心点；w，h为框的尺寸。下标为a的是anchor，上标为*的为真实框。
   

五、RPN网络Loss（损失函数）

1. RPN网络Loss计算公式
   

分类分支采用常用的二元交叉熵。
回归分支只会对正样本进行回归，采用Smooth L1。

2. 回归分支Loss
   当预测框与监督信息差别过大时，梯度值不至于过大
   当预测框与监督信息差别很小时，梯度值足够小

Faster R-CNN原理解析
一、生成proposals过程

1. 将RPN的输出和Anchor解码得到预测框。解码是将偏移量运用到Anchor上，形成预测框。

2. 对预测框进行clip，也就是将预测框的范围限制在图片范围内

3. 对预测框进行过滤后得到proposals

二、Pol Pooling

1. 核心思想：候选框共享特征图特征，并保持输出大小一致
   将候选框分为若干子区域，将每个区域对应到输入特征图上，取每个区域内的最大值作为该区域的输出。

2. 不足之处
   Pol Pooling在两次取整近似后时，会导致监测信息和提取出的特征不匹配。
   （1）候选框的位置取整。当RoL位置不是整数时，RoL的位置需要取整。
   （2）提取特征时取整。划分4个子区域做max pooling，框的长度需要做近似取整
   

三、Rol Align

1. 核心思想：消除Pol Pooling中产生的误差
   在区域内均匀的取N个点，找到特征图上离每个点最近的四个点；再通过双线性插值的方式，得到点的输出值。最后对N个点取平均得到区域的输出。
   

四、BBox Head

1. BBox Head网络结构
   （1）输入为RoL的输出特征
   （2）通过卷积和Pooling将1414的特征图压缩到11，之后这个特征经过两个FC作为分类分支和回归分支的预测。最后计算Loss。
   （3）预测阶段和RPN阶段生成proposals的过程类似，先将head部分的输出和RPN输出的RoL解码得到预测框，在进行NMS得到最终预测结果。
   

2. BBox Head中的监督信息
   分类分支学习每个预测框的类别
   回归分支学习每个Rol到真实框的偏移量
   3.BBox Head Loss