多传感器融合简单理解

转自知乎https://zhuanlan.zhihu.com/p/1890560363528975656
侵权删

数据级融合（早期融合）

概念：在数据层面进行融合，即直接将来自不同传感器的原始数据进行组合，形成一个统一的输入。

特点：
在点云+图像融合中，通常是将图像的颜色信息（RGB）与 LiDAR 点云对齐，以增强点云信息。
适用于深度学习方法，可以利用神经网络自动学习特征。

优点：
✔️ 能最大化利用原始数据的信息，提供丰富的特征表达能力。
✔️ 适用于深度学习方法，如 BEVFusion、PointPainting 等。

缺点：
❌ 需要严格的时间同步和空间对齐，计算量大。
❌ 受传感器精度、数据质量等因素影响较大。

特征级融合（中期融合）

概念：在特征层面进行融合，即各传感器分别提取特征后，再在一定阶段进行融合（如网络的中间层）。

特点：
典型做法是使用深度神经网络分别处理图像和点云，然后在中间某一层进行特征对齐和融合。
例如，CLOCS（Camera-LiDAR Object Candidates Fusion）方法就是一种中期融合，它结合了来自 LiDAR 和摄像头的目标检测结果，通过学习特征关系来增强目标识别能力。

优点：
✔️ 兼顾了信息表达能力和计算效率。
✔️ 不需要完全同步原始数据，具有一定的灵活性。
✔️ 可适用于不同的神经网络架构，如 BEV、Transformer、融合网络等。

缺点：
❌ 融合方式的设计较复杂，可能需要额外的匹配算法（如 IoU 计算）。

决策级融合（晚期融合）

概念：在决策层进行融合，即各个传感器独立进行目标检测或识别，最终将检测结果进行加权融合或投票决定最终输出。

特点：
例如，摄像头检测到一个行人，而 LiDAR 也检测到了相应的物体，那么可以通过加权或 NMS（非极大值抑制）等策略进行最终融合。
计算量较小，适用于多种模型组合，如摄像头 + 雷达、LiDAR + V2X 车联网等。

优点：
✔️ 计算成本低，不需要对数据进行对齐或深度融合。
✔️ 可用于多种传感器组合，易扩展。

缺点：
❌ 由于各传感器单独处理数据，信息损失较大，融合效果可能不如早期或中期融合。