目标检测小网络

目录

• 目标检测小网络
• 一. Anchor-based
  • 1.1 网络结构
  • 1.2 数据和anchor
  • 1.3 一系列问题
  • 1.4 具体案例
• 二. Anchor-free
  • 2.1 具体案例
  • 2.2 改进策略

目标检测小网络

一. Anchor-based

1.1 网络结构

当前一般采用

• backbone：shufflenetV2、mobilenetV2/3（V3比较难调试）、Ghostnet、SandGlass
• FPN：PAN、BiFPN，这部分对检测提升很大（实际使用得进行裁剪压缩，原始版本不适合小模型），追求极致性能的网络可以去除（比如人脸检测超小模型，这类目标特征明显且背景不是很复杂的情况）
• Head：RFB、SSH，如果不加FPN结构，Head必须做一番手脚，如果存在FPN，简单使用几个卷积即可
• 输出：（这部分一般包含在Head内部，最近遇到这个问题单独提出来），可以使用cls+reg共享一个卷积，也可以单独卷积（每层之间也可以共享或单独），小模型一般每层不共享（共享效果差，有朋友已实测），cls和reg之间随意选择（共享最好做一些trick，最好增加FPN，不共享可以增加RFB等操作）

小模块一般采用：

• 模块卷积一般使用Depthwise结构，小卷积一般使用 \(1\times1\) 卷积（很少使用 \(3\times3\) 卷积）
• backbone的输出通道尽可能的大（笔者尝试 \(chennels=[24, 48, 96]\) 的输出效果很差）,最基础的保证backbone的输出大于FPN的输出
• 小模型一般在 \(stride=[8,16,32,64]\) 进行采样，\(stride=4\) 没见过有人在小模型上使用
• 关于BatchNormalize操作，小网络一般使用BN即可，大网络使用GN效果较好（也可以直接使用torch自带的sync-BN）

loss的使用：

• 正负样本采用 \(3:1\) ，loss直接采用SSD，刚开始可以使用此方法，交叉熵的loss一般在1.0以下（具体多少适合你的网络看结果），如果在0.9附近无法下降，实测效果较差
• Focal-Loss、GHM、TopK，笔者测试在单目标检测中使用较好，误检很少但难以训练
• 目前使用GIOU、DIOU作为回归较多
• FocalLoss+GIOU实测效果较好

1.2 数据和anchor

• 使用mmdetection进行训练，一定要注意目标的大小，匹配过小（未匹配等）会导致出现Nan出现（查找问题比较困难，之前还以为LR等问题）

• 数据增强不是越多越好，比如人脸检测不需要上下Flip、人脸检测不需要遮挡问题（情况极少），数据增强过多会导致小模型不收敛，建议先进行基础操作（color-transform + random-crop + resize），之后根据提升进行特定数据增强。

• 数据和网络尽量保持等比例，笔者数据 \(1280\times720\) ，网络输入 \(256\times256\) ，padding之后再进行输入明显效果好

• 小目标过多，为了不丢弃数据，在增强策略先放大然后进行crop，或者直接crop目标区域（尽量不让目标缩小再进网络），笔者测试效果较好

• anchor在每一层上一定大于stride（原始的RetinaNet中anchor比stride大4倍），小模型一般超过 \(\times1.25\) 以上，大模型 \(\times2\) 以上

• 之前有朋友建议两层之间的anchor大小有交集（开源项目没见过这种操作），实际测试提高了召回率同时也增加了误检，看个人取舍

• 关于感受野和anchor的关系，这部分前两年说的较多，现在论文基本没见过了

1.3 一系列问题

• loss出现Nan
  • 首先排查数据问题，一般是未匹配（目标太小，超出边界等）
  • 尽量使用预训练模型（如果没有，先训练小批量数据得到预训练模型，之后再大数据上再训练）
  • 减少学习率和batchsize等操作
• 小目标检测较差
  • 查看anchor最小检测的尺寸（当正样本IOU=0.5，意味着最小检测尺寸是最小anchor的一般半，但实际上我们粗略认为最小目标等于最小anchor，因为考虑到anchor和目标匹配的问题（比如两个anchor之间存在一个目标））
  • 增大stride，上面我们说到小模型一般stride不小于8，过小的stride对网络来说负担很大（只能增大网络获得trade-off）
  • 多尺度训练，在实际的输入上下浮动即可（笔者将当前概率设为0.6，上下两个尺度设为0.2），实现方式两种：mmdet里面直接padding，yolov4直接resize操作，笔者仅使用了后者
  • mosic数据增强
  • 网络结构，比如SSH针对小人脸检测较好
  • anchor匹配的时候给予小目标更大权重（笔者猜测，未尝试）
• 误检较多
  • 语义无关的情况，可以扣mask打背景（比如杯子、苹果等检测），当然人脸检测肯定不行
  • 增加样本，针对性的训练。可以增加负样本或ignore。亲测有效
  • 多尺度训练，参见上文，实测有效
  • 加大网络增加FPN、backbone。亲测会提高召回率，误检效果不明显
  • 改变loss，针对困难样本的训练
  • 如果误检较少，可以后端接一个分类器（很小的计算量）

1.4 具体案例

• MobilenetV3+SSD+FPN
• libface、utralface（实测对柔性检测较差，对人脸检测很好）
• Yolov3/4/5剪枝
• efficientnet缩小版

这里以目前最流行的人脸检测器之一为例：

Model	model file size（MB）
libfacedetection v1（caffe）	2.58
libfacedetection v2（caffe）	3.34
Official Retinaface-Mobilenet-0.25 (Mxnet)	1.68
version-slim	1.04
version-RFB	1.11

Model	Easy Set	Medium Set	Hard Set
libfacedetection v1（caffe）	0.65	0.5	0.233
libfacedetection v2（caffe）	0.714	0.585	0.306
Retinaface-Mobilenet-0.25 (Mxnet)	0.745	0.553	0.232
version-slim	0.77	0.671	0.395
version-RFB	0.787	0.698	0.438

从上面两个官方给出的表格，速度快的同时精度也高

• backbone使用shufflenet改良版本，其中增加RFB用于扩大感受野
• 中间层使用SSD的multi-feature
• head使用层不共享且cls与reg之间也不共享的卷DW卷积
• feature在\(stride=[8,16,32,64]\)上进行检测，anchor设置\([[10, 16, 24], [32, 48], [64, 96], [128, 192, 256]]\)，由于人脸基本呈现方形，所以这里anchor都是\(1:1\)
• loss直接使用SSD策略，交叉熵+smoothL1+正负样本按比例挖掘
• 数据增强使用正常操作（color+random-crop等），未使用最新的mosic等
• train策略包含很多种，一般采用SGD+Warmup+Cosin

二. Anchor-free

2.1 具体案例

注释: anchor-free之前流行的都是大网络，比如centerNet、FCOS、ATSS等，因为小网络很难训练centerness（网络有人测试），基本没见到小网络效果好的版本。自从GFL-V1论文出来以后，使得loss训练较为容易，然后NanoDet问世了。

这里直接以目前最流程的anchor-free小网络为例

Model	Resolution	COCO mAP	Latency(ARM 4xCore)	FLOPS	Params	Model Size(ncnn bin)
NanoDet-m	320*320	20.6	10.23ms	0.72B	0.95M	1.8mb
NanoDet-m	416*416	21.7	16.44ms	1.2B	0.95M	1.8mb
YoloV3-Tiny	416*416	16.6	37.6ms	5.62B	8.86M	33.7mb
YoloV4-Tiny	416*416	21.7	32.81ms	6.96B	6.06M	23.0mb

• backbone使用shuffenetV2（原封不动）
• FPN使用PAN简化版，直接双线性插值之后add即可
• head层之间不共享，cls与reg之间进行共享卷积
• loss使用GFL-V1版本
• 数据增强常规操作（未使用random-crop，未使用mosaic）
• train直接使用SGD+Warmup+LinerStep

2.2 改进策略

• 数据增强

原版NanoDet仅使用简单操作，针对自己数据集进行特定数据增强，实测效果很大

• 训练多尺度

有效改善误检和漏检（建议使用预训练模型，直接使用容易崩）

• 最近GFL-V2出来了，尝试将trick加入Nanodet之中

笔者稍微修改了一下trick，目的两点：1）尽量不修改Nanodet结构。2）更容易训练。3）效果尽可能好。

直接使用GFL-V2很难训练，而且误检率较高，NanoDet作者给出的原因是共享的cls+reg对分布不敏感，不适用共享的卷积效果可以提升。笔者猜测原因：1）共享卷积已经学到部分分布信息。2）小网络最后阶段直接使用分布去指导质量分数很难收敛。

未加入GFL-V2，实测效果未提升反而下降

# 层定义
self.reg_conf = nn.ModuleList([nn.Sequential(nn.Conv2d(4 * 8, 32, 1),
                                                     nn.LeakyReLU(negative_slope=0.1, inplace=True),
                                                     nn.Conv2d(32, 1, 1), nn.Sigmoid()) for _ in self.anchor_strides])
self.reg_cls_com = nn.ModuleList([nn.Conv2d(2, 1, 1) for _ in self.anchor_strides]) 

# 前向传播
def forward_single(self, x, cls_convs, reg_convs, gfl_cls, gfl_reg, reg_conf, reg_cls_com):
        cls_feat = x
        reg_feat = x
        for cls_conv in cls_convs:
            cls_feat = cls_conv(cls_feat)
        for reg_conv in reg_convs:
            reg_feat = reg_conv(reg_feat)
        if self.share_cls_reg:
            feat = gfl_cls(cls_feat)
            cls_score, bbox_pred = torch.split(feat, [self.cls_out_channels, 4 * (self.reg_max + 1)], dim=1)
        else:
            cls_score = gfl_cls(cls_feat)
            bbox_pred = gfl_reg(reg_feat)

        B,C,H,W = bbox_pred.shape
        prob = F.softmax(bbox_pred.reshape(B, 4, self.reg_max+1, H*W), dim=2)
        quality_score = reg_conf(prob.reshape(B, C, H, W))
        cls_score = cls_score * quality_score
        
        #cls_score = torch.cat([cls_score, quality_score],dim=1)
        #cls_score = reg_cls_com(cls_score)

        if torch.onnx.is_in_onnx_export():
            cls_score = torch.sigmoid(cls_score).reshape(1, self.num_classes, -1).permute(0, 2, 1)
            bbox_pred = bbox_pred.reshape(1, (self.reg_max+1)*4, -1).permute(0, 2, 1)
        return cls_score, bbox_pred
       

• 改变网络结构

• backbone优化（GhostNet、如果使用mobilenetV2可以增加CSPNet进行通道压缩）
• FPN优化（DUpsample进行上采样）
• head优化（cls和reg不共享卷积，如果使用共享卷积可以在最后增加1*1卷积进行优化）
• 使用类似二阶段网络，将当前网络作为一阶段网络，二阶段网络使用一阶段的结果输入，直接分类（背景，目标1，目标2....），如果追求更精确可以在二阶段加回归（这种情况得有负值，因为一阶段输出会有截断情况，即使扩大检测范围也不可避免截断）

• 注意点

• 小网络的backbone至关重要远远大于后面neck和head比重。实测：基于NanoDet模型，shufflenetV2做主干提取S=4，8，16，32，64，其中在maxpooling后面接两个block模块然后再提取S=4层，PAN上采样使用反卷积，下采样使用maxpooling，中间穿插1*1卷积。计算量达到440MB，但是和原始NanoDet320MB对比效果差很多，后面试验发现backbone信息丢失过多，后面如果增加计算量都无法补充。提取层数过多，backbone尽量别别使用maxpooling。

当然都是建立在尽量减少计算量的基础上进行优化，做到trade-off