0614 每日文献阅读 打卡

Read Data: 0614	Publication: AAAI 2020
Title: SM-NAS: Structural-to-Modular Neural Architecture Search for Object Detection Participants: Lewei Yao，Hang Xu，Wei Zhang，Xiaodan Liang，Zhenguo Li
Aim: 在硬件资源约束下选择最优的模块组合。 开发一个多目标NAS方案，专门设计以找到一个最优和高效的整体架构。	Research Question: 在第一阶段，搜索空间包括不同的模块选择，以覆盖许多流行的一级/两级探测器设计。我们还考虑将输入图像的大小放入搜索空间，因为它极大地影响延迟和准确性。 在第二阶段，我们进一步考虑在前一阶段找到的最优组合的基础上对模块(如骨架模块)进行优化和进化。
Method: 提出了一种由粗到精的搜索策略:1)结构级搜索阶段：首先，寻找不同模块的有效组合以及模型匹配的输入规模;2)模块级搜索阶段：然后，演化每个特定的模块，并推进到一个高效的任务特定网络。
Results: 与FPN相比，推理时间减少了一半，mAP提高了1%，与MaskRCNN相似的推理时间相比，mAP达到46%。 Exp-0和Exp-1是以下1倍和2倍标准FPN训练程序。将Exp- 2和Exp-4与Exp- 2和Exp- 3进行比较，可以发现较小的批大小导致不准确的批归一化统计。采用组归一化可以缓解这一问题，将mAP从24.8提高到29.4。 此外，通过提高学习率和批处理规模，可以在16次epoch训练中将mAP提高到37.5。因此，我们可以用比预先训练的同类更少的epoch从头开始训练一个检测网络。		Discussion:
Conclusion: 我们提出了一个检测NAS框架，用于搜索模块的有效组合和更好的模块级架构，用于目标设备上的对象检测。搜索的SM-NAS网络实现了最先进的速度/准确性权衡。			Further: SM-NAS过程可以在将来不断更新和添加新模块。
Ref: 作者用了 coarse-to-fine 的思想，把 NAS 的搜索过程分为两个 stage，先进行结构层次 (structural-level) 的搜索，再进行模块级别 (modular-level) 的搜索. 这篇Paper要做的事情和EfficientDet非常类似，都是将神经网络结构搜索和目标检测相结合，Neural Network Search (NAS)+目标检测，搜目标检测算法的整个过程。 贡献： 研究速度和准确性的权衡目标检测系统与不同的模块的不同组合。 提出了一种由粗到精的搜索策略，将搜索解耦为结构级和模块化级，有效地提升了Pareto front。搜索模型达到了最先进的速度/精度，在现有方法中占有较大的优势。 我们首次尝试在没有预先训练模型或任何代理任务的情况下，通过从无到有的快速训练策略直接搜索检测主干。