RT-DETR网络结构 - 教程

1.前言

本章主导来介绍下RT-DETR的网络结构，参考的依旧是ultralytics构建的RT-DETR-L，代码如下：

ultralytics/ultralytics: Ultralytics YOLO

首先谈谈我对RT-DETR的浅显认识，他不像是YOLOv8此种纯CNN实现的网络，也不像是Vit这种以Transformer实现的网络，他是前一部分应用的是CNN构建Encoder，后一部分启用Transformer来构建Decoder，这样做的好处就是兼备了CNN的速度，以及Transformer对信息的上下文关联能力，做到了Real-Time的一种DetectionTransformer.

通过下图是论文的插图1，从下图行看到，以Resnet50为主干网络的RT-DETR的推理速度是能够对标YOLOv8S的，那可见这个DETR是很RT了。

2.网络结构

通过接下来看下整体的网络结构，我依旧将RT-DETR网络分成Backbone，Neck和Head三大模块，这三部分能够理解为RT-DETR的Enco