Faster-RCNN流程

RPN概述

1) RPN网络综述

Base Model最后一层经过一个3*3*512的卷积后，分两路，一路为1*1*18卷积，代表每个点9个anchor，2类（fg和bg），因此是9*2=18维2分类预测值；另一路为1*1*36，代表每个点9个anchor，4个坐标值（x,y,w,h），因此是9*436维坐标值预测。
输入图像320*240的情况下，卷积到3*3后的feature map大小H=36，W=61，每个点9个anchor，也就是36*61*9=19764，大约2W个anchor。

2) RPN网络中AnchorTargetCreator分析：

将2W个候选anchor选出256个anchor进行二分类和所有的anchor进行位置回归。为上面的预测值提供相应的真实值。选择方式如下：

• 对于每一个ground truth bouding box(gt_bbox), 选择和它IoU最高的一个anchor作为正样本。
• 对于剩下的anchor，从中选择和任意一个gt_bbox重叠度超过0.7的anchor，作为正样本，正样本的数目不超过128个。
• 随机选择和gt_bbox重叠度小于0.3的anchor作为负样本。负样本和正样本的总数为256.
  对于每个anchor，gt_label要么为1(fg)，要么为0(bg)，所以这样实现二分类。在计算回归损失的时候，只计算正样本（fg）的损失，不计算负样本的位置损失。

3) RPN网络中ProposalCreator分析：

RPN利用AnchorTargetCreator自身训练的同时，还会提供RoIs(region of interests)给Fast RCNN(RoIHead)作为训练样本。RPN生成RoIs的过程(ProposalCreator)如下：

• 对于每张图片，利用它的feature map, 计算(H/16)*(W/16)*9（大概2W）个anchor属于前景的概率，以及对应的位置参数。
• 选取概率较大的12000个anchor。
• 利用回归的位置参数，修正这12000个anchor的位置，得到RoIs。
• 利用非极大值抑制（Non-maximum suppression, NMS），选出概率最大的2000个RoIs。
  注意：在inference的时候，为了提高处理速度，12000和2000分别变为6000和300.
  注意：这部分的操作不需要进行反向传播，因此可以利用numpy/tensor实现。
  RPN的输出：RoIs（形如2000*4或者300*4的tensor）。