0611 每日文献阅读 打卡

Read Data: 0611	Publication: CVPR 2020
Title: Designing Network Design Spaces Participants: Ilija Radosavovic， Raj Prateek Kosaraju， Ross Girshick， Kaiming He， Piotr Dollar
Aim: 目标是帮助提高对网络设计的理解，并发现适合不同平台（settings）的通用设计原则，并且简单易于理解。	Research Question: 提出了一个新的网络设计范例，结合了人工设计和NAS的优点。并非专注于设计单个网络实例，而是设计参数化网络总体的设计空间。类似于手动设计，其目标是可解释性，并发现描述网络的一般设计原则，这些原则简单、工作良好，并能够在不同设置环境中进行泛化。
Method: 1、设计空间的工具： （1）我们从设计空间中抽样和训练n个模型，得到模型的分布； （2）我们计算并绘制误差EDFs，以总结设计空间质量； （3）我们可视化设计空间的各种属性，并使用经验引导获得洞察； （4）我们使用这些观测结果来精细化设计空间。 2、AnyNet设计空间：给定一个输入图像，一个网络由一个简单的stem、执行大部分计算的网络主体和一个预测输出类的最终网络主体组成，使用标准的残差瓶颈块和组卷积。有16个自由度，因为每个网络由4个stage组成，每个stage有4个参数：块数di、块宽度wi、瓶颈比率bi和组宽度gi。 3、RegNet设计空间：引入块宽度的线性参数化；为了把函数分层，引入了附加参数m来控制分层。为了进一步验证线性参数化，我们设计了一个只包含具有这种线性结构的模型的设计空间。 4、将进一步分析RegNetX设计空间，并回顾常见的深度网络设计选择。我们的分析得出了与流行做法不符的令人惊讶的见解，这使我们能够通过简单的模型获得良好的结果
Results: 在低计算量时，EFFICIENTNET优于REGNETY。在中计算量中，REGNETY的性能优于EFFICIENTNET，在高计算量中，REGNETX和REGNETY的性能都更好。我们还观察到，对于EFFICIENTNET，activation 与 flops成线性比例（由于分辨率和深度的缩放），而与REGNETs的flops平方根的激活比例相比。这会导致GPU训练和推理时间变慢，从而提高效率。REGNETX-8000比EFFICIENTNET-B5快5倍，且误差较小。		Discussion: RegNet设计空间:(1)在其允许的网络配置的维度和类型方面都得到了简化，(2)包含了更集中的顶级模型，(3)更易于分析和解释。
Conclusion: 在这项工作中，我们提出了一个新的网络设计范式。我们的研究结果表明，设计网络设计空间是一个有前途的研究方向。			Further:
Ref: RegNet 比 RestNet 这种网络在小计算量情况下表现好 RegNet 比 EfficientNet 这种网络在大计算时情况下表现好 总结：经过空间简化后得到网络结构，能够hold住各种计算量