SEPC：使用3D卷积从FPN中提取尺度不变特征，涨点神器 | CVPR 2020

论文提出PConv为对特征金字塔进行3D卷积，配合特定的iBN进行正则化，能够有效地融合尺度间的内在关系，另外，论文提出SEPC，使用可变形卷积来适应实际特征间对应的不规律性，保持尺度均衡。PConv和SEPC对SOTA的检测算法有显著地提升，并且没有带来过多的额外计算量

来源：晓飞的算法工程笔记公众号

论文: Scale-Equalizing Pyramid Convolution for Object Detection

论文地址：https://arxiv.org/pdf/2005.03101.pdf
论文代码：https://github.com/jshilong/SEPC

Introduction

特征金字塔是解决物体尺度问题的重要手段，但是不同level的特征图其实存在较大的语义差距。为了消除这些语义差距，很多研究专注于如何加强特征的融合，但这些研究大都直接将特征图缩放相加，没有很好地考虑特征金字塔的内在属性。受尺度空间理论(多尺度提取特征点)的启发，论文提出PConv(pyramid convolution)，使用3-D卷积来关联相近的特征图，挖掘尺度间的相互作用。考虑到特征金字塔的层间特征变化较大，层间各点的对应无规律，论文提出SEPC(scale-equalizing pyramid convolution)对特征金字塔的高层特征进行可变形卷积，能够自适应实际的尺度变化，保持层间尺度均衡。
论文的主要贡献如下：

提出轻量级金字塔卷积PConv，对特征金字塔进行3-D卷积来挖掘内在尺度的关联性。
提出尺度均衡的金字塔卷积SEPC来减少特征金字塔与高斯金字塔间差异(论文证明了PConv在高斯金字塔上具有尺度不变性)。
该模块能够提升SOTA single-stage目标检测算法的性能，而且几乎不影响推理速度。

Pyramid convolution

PConv(pyramid convolution)其实是个3-D卷积，横跨尺度和空间维度，如图4a所示，PConv可表示为N个不同的2-D卷积。

但不同pyramid level的特征图大小是不同的，为了容纳不同的尺寸，在PConv在处理不同的特征图时使用不同的stride，论文采样\(N=3\)，首个卷积核的stride为2，最小的的卷积核的stride为0.5。

PConv可表示为公式1，\(w_1\)、\(w_0\)和\(w_{-1}\)为3个独立的2-D卷积核，\(x\)为输入的特征图，\(*_{s2}\)代表stride为2的卷积核。

stride为0.5的卷积核先对特征图双线性上采样2倍，再用stride为1的卷积核进行处理。PConv也使用zero-padding，对于底层和顶层的pyramid level仅需使用公式2的其中两项即可，PConv的计算量大约为原始FPN的1.5倍。

Pipeline

如图5a所示，RetinaNet可看作是\(N=1\)的PConv，将4个Conv head替换成\(N=3\)的PConv head，堆叠的PConv能够有效地逐步提高相关性，而且不会带来过多的额外计算。但为了尽可能减少计算量，可以选择分类和定位分支先共享4层PConv，再额外分别添加一层普通卷积层，如图5b所示，这样设计的计算量甚至比原生的RetinaNet还要少，具体计算可以看原文Appendix 1。

Integrated batch normalization (BN) in the head

PConv使用共享的BN层，统计feature pyramid中所有特征图，而不是单图统计。由于统计来自于pyramid内所有的特征图，方差会变得更小。这样，即使使用很小的batch size也可以很好地训练BN层(方差较稳定)。

Scale-equalizing pyramid convolution

PConv对于不同的level都使用固定的卷积核大小，在高斯金字塔上(模糊程度不严重且高斯核接近特征图缩放比例)，PConv能够提取尺度不变的特征，具体证明可以看原文Appendix 3。
但实际中，由于多层卷积和非线性操作的存在，特征金字塔的模糊程度比高斯金字塔要严重得多(特征的缩放程度可能跟特征图大小不成比例)，使用固定的卷积核大小很难提取尺度不变的特征。为此，论文提出SEPC(scale-equalizing pyramid convolution)，对除最底层外的高层特征使用可变形卷积，单独预测一个offset，能够自适应各层的模糊程度，保持特征图间的尺度均衡，从而提取尺度不变的特征。
SEPC主要有以下好处：