0830 每日文献阅读 打卡

 

 

Read Data: 0830	Publication: CVPR 2021
Title: RepVGG: Making VGG-style ConvNets Great Again
Aim: 复杂的结构，虽然精度提高，但是伴随着一定问题：1、复杂的多分支设计使模型难以实现和定制，减慢了推理速度并降低了内存利用率。2、一些组件增加了内存访问成本，并且缺乏对各种设备的支持。	Research Question: 普通前馈模型要达到与多分支体系结构性能水平相当是一项挑战，也是本文研究的问题。
Method: 提出了一种简单但功能强大的卷积神经网络结构。它的主体框架是由3*3卷积叠堆和ReLU组成的，推理时间类似于VGG，而训练时间模型采用多分支拓扑结构。这种训练时间和推理时间体系结构的解耦是通过一种结构重新参数化技术实现的，因此该模型被命名为RepVGG。 通过结构重新参数化将训练与推理结构进行解耦（之前的ACNet同理）。基于传统VGGNet+ResNet结构为基础，训练时候采用多分支结构来提升性能，推理时候则重参数化为单一的3x3卷积 + Relu结构来加速推理。
Results: 在ImageNet上，RepVGG达到了80%以上的top-1精度，据我们所知，这是首次对普通模型。在NVIDIA 1080Ti GPU上，RepVGG模型运行速度比ResNet-50快83%，比ResNet-101快101%，具有更高的精度，并显示了良好的精度-速度的平衡，与先进的模型如EfficientNet和RegNet相比。			Discussion: 适合高算力的设备
Conclusion: 提出了RepVGG，它是一个简单的架构，由3*3 conv和ReLU组成的堆栈，特别适合于GPU和专门的推理芯片。通过我们的结构重新参数化方法，它在ImageNet上的top-1精度达到80%以上，与最先进的模型相比，显示了良好的速度-精度权衡。		Further:
Ref: