BEVerse

1. Motivations

• Since the sequential paradigm inevitably suffers from repeated feature extraction and severe error propagation

  由于sequential paradigm不可避免地遭受重复的特征提取和严重的错误传播（同一个feature会经过det和seg的特征处理，重复提取）

• These methods about lidar have demonstrated that the multi-task paradigm can be more efficient due to shared computations and can also achieve the stateof-the-art performance, benefiting from temporal fusion and joint learning.

  这些方法表明，由于共享计算，多任务范式可以更有效，并且还可以实现最先进的性能，受益于时间融合和联合学习

2. Contributions

• We propose BEVerse, the first framework for unified perception and prediction in Birds-EyeView with multi-camera autonomous driving systems.

  我们提出了BEVerse，这是第一个使用多摄像头自动驾驶系统在鸟瞰图中进行统一感知和预测的框架

• We propose the method of iterative flow for efficient future prediction and enabling multi-task learning.

  我们提出了一种迭代流方法，以实现高效的未来预测和多任务学习

• With one multi-task model, BEVerse achieves the state-of-the-art performance for 3D object detection, semantic map construction, and motion prediction on the nuScenes [3] dataset and is more efficient than the sequential paradigm.

  通过一个多任务模型，BEVerse在nuScenes[3]数据集上实现了最先进的3D对象检测、语义地图构建和运动预测性能，并且比顺序范式更高效

3. Method

1. 从N个时刻中获取6个cam的图像，以及每个时刻对应的egomotion

2. Image-view Encoder: SwinTransformer作为特征提取器，将c5上采样和c4进行cat，经过2层卷积网络获得输出

3. View Transformer: 用lift-split-shoot的方法获得bev feature

4. Spatio-temporal BEV Encoder：使用egomotion将各时刻的bev feature转换到同一时刻，这些feature经过temporal blocks生成spatio-tmporal的feature

   temporal blocks：3D convolutions, global pooling operations, and in-between feature compression layers

5. Task Decoders

   • Grid sampler：由于不同任务可能需要特定的范围和粒度，输入 BEV 特征的空间范围和分辨率不能直接用于解码
   • Task encoder：用 ResNet 基本块构建主干，并结合图像视图编码器类似的多尺度特性，将输出特征上采样到输入分辨率

6. Head for motion prediction

   • FIERY 首先预测未来高斯分布参数，并采样latent vector φt，并用于初始化未来状态。

   • 并用于初始化未来状态。然后，重复应用 ConvGRU 网络块和瓶颈块，生成未来状态 {s_t+1，s_t+2，···，st+T}

   • 问题1：每个 BEV 像素共享采样的全局latent vector φt，不能代表许多不同智体的不确定性。

   • 问题2：仅从采样latent vector初始化未来状态，这样会提高预测的难度。

     

   • 与 FIERY 不同的是，这里直接预测和采样一个latent map R（Xmotion × Ymotion × L），这样可以分离不同目标的不确定性

   • 通过预测流进行当前状态的 warping，生成下一个时刻的状态，这自然适应运动预测问题并简化了学习过程

     

4. Experimental results and analysis

• temporal信息的增加

  1. mAP增加：遮挡物的问题
  2. mAVE的降低