0612 每日文献阅读 打卡

Read Data: 0612	Publication: CVPR 2020
Title: SP-NAS: Serial-to-Parallel Backbone Search for Object Detection Participants: Chenhan Jiang，Hang Xu，Wei Zhang，Xiaodan Liang，Zhenguo Li
Aim: 在不同的主干阶段合理分配计算量，并为每个特征层提供合适的接受域和空间分辨率。 找到一个最优的并行级结构与每个骨干阶段不同的子网数量。	Research Question: 串行搜索阶段：在特征层次的每个阶段找到具有最优分辨率、接受域和输出通道的序列块; 并行搜索阶段：将几个被搜索的串行架构组合成一个更强大的并行结构主干，更好地融合了高层和低层的特征。
Method: 我们提出了一种新的搜索框架SP-NAS，以实现一个灵活的面向数据的检测骨干。 串行层次搜索： 搜索空间：串联主干搜索空间由一系列块组成。主干的每个部分可以根据输出特征的分辨率分为若干阶段，其中阶段是指由具有相同分辨率的特征提供的若干块，文中主要有基础块、瓶颈块和ResNeXt块。将输入图像馈入如下的主干结构，该结构由两个3*3卷积(stride=2)组成，分辨率降至1/4，主体中的基通道数等于主干的输出通道数。 Swap-Expand-Reignite搜索策略：从一个小的基础网络开始，在每次迭代中对当前网络应用包括交换和扩展在内的几组修改，并在3个epoch的训练时间，对结果网络在多个节点上进行训练。然后我们对这些架构进行评估，并选择性能改进最显著的最佳更新模型作为当前模型。对ImageNet进行预先训练，以再次点燃当前卡住的架构，从而reignite搜索过程。 并行层次搜索： 为了追求高性能的主干结构，考虑在串行级搜索中基于已搜索的主干SerialNet对子网结构进行并行级搜索。 搜索空间：并行主干被堆叠在串行搜索结果(即Serial Net)上。搜索空间包括一系列子网以及被搜索主干体系结构的每个阶段。每个子网的初始化是训练后的Serial Net相应阶段的副本，可以更好地提取和融合特征。 搜索策略：总共(K + 1)^L个组合，用串行搜索骨架的权重，做为初始化并行子网,并行骨架训练是有效的。使用资源约束抽样的随机搜索来寻找并行子网的最优组合。
Results: 在EuroCityPersons基准的汽车检测排行榜上的顶级性能(LAMR: 0.055)，在COCO上提高了2.3%的mAP和更少的FLOPS，在VOC上达到84.1%的AP50，在准确性和速度方面优于detas和Auto-FPN。		Discussion:
Conclusion: 在本文中，我们提出了一种新的串行到并行的NAS搜索(SP-NAS)过程，以实现一个灵活的、面向任务的检测骨干。通过在迭代训练过程中重复使用权值来提高搜索效率，使被搜索网络的性能排名与完全训练模型保持一致。搜索的SP Net网络在多个检测基准上实现了最先进的精度和速度权衡。			Further:
Ref: