Faster R-CNN

Faster R-CNN

作者：Ross B. Girshick

NIPS'15

paper：Faster R-CNN

亮点

• 提出RPN解决select search速度慢的问题

网络结构

流程

• 输入图像会被缩放到\(M\times N\)大小
• 采用一系列卷积操作，得到对应的特征图
• 特征图输入RPN网络获取候选框
• 特征图和从RPN获得的候选框结合生成候选框对应的特征区域
• 一系列特征区域经过ROI Pooling，得到固定大小的特征
• 经过分类网络获取最后的边框信息和类别信息

RPN

用于生成候选框。

在特征图上进行3 * 3的卷积操作后，得到输入特征图大小的候选框特征信息。随后分成两路，一路是通过1 * 1 * 2K的卷积，得到2K * H * W大小的特征图，表示K个框包含或者不包含目标；另外一路通过1 * 1 * 4K卷积，得到K个框的四个回归坐标。

锚点anchor

对特征图进行3*3的卷积，特征图上对应区域的中心点，就是锚点（实际上所有锚点构成整个特征图，不过后续会有过滤）。

锚框，在锚点上选取一些固定大小的框，比如1 * 1，1 * 2等，以及不同的缩放比例，这些框会反映到原图上一个特定的区域。