【PR】UC-NERF: NEURAL RADIANCE FIELD FOR UNDERCALIBRATED MULTI-VIEW CAMERAS IN AUTONOMOUS DRIVING

【简介】

这篇文章的作者来自中科大、北大武汉人工智能研究院、大疆和上海科大，投稿到了ICLR 2024会议，已接收。

UC，表示under calibrated，意味着标定不准。本文提出UC-NeRF用于解决标定不够好的多相机配置的新视角合成方法。首先，作者提出一种基于层的颜色校正方法，以纠正不同图像区域中的颜色不一致性。其次，设计了一种虚拟变形技术，用于生成多视角的颜色一致的虚拟视图，既用于颜色校正，也用于3D恢复。最后，设计了时空位姿约束使多摄像头的位姿更加稳定和准确。该技术在多相机配置的自动驾驶等应用具有较大的潜在价值。

 

【创新点】

1. 基于层的颜色校正。解决不同摄像头图像颜色不一致的问题。

2. 虚拟变形。在虚拟视点变形的图像为颜色校正提供了更强的约束。

3. 时空约束的姿态精细优化。明确建模摄像头之间的时间和空间连接。

 

【review】

 

【方法】

关于NeRF本身我们不做赘述。后期有时间我也写写NeRF原文。简言之，NeRF是3D场景的连续隐式表达，采用了volume rendering采样相机光束上的点合成2D图像。传统的NeRF优化了渲染图与gt的光度误差（photometric loss）。

 1. 基于层的颜色校正

不同的相机总是有不同的ISP配置，导致相同区域的图像颜色不一致。使用颜色不一致的图像渲染会导致渲染质量的下降。Urban-NeRF采用了全局线性变换来减轻不同摄像头视图的差异。单一的全局变换可能不够，因此我们将场景分为前景层和天空层，每个层单独进行颜色补偿。天空也通常比前景亮很多。天空的mask可以通过一些预训练的分割模型中获取。为了防止颜色与原始的差异过大，也添加了正则项。

 

2. 虚拟变形

 

由于原始视角不同相机之间的重叠区域有限，所以采用虚拟视角变换来提供更多样的数据。总体思路如上图，利用MVS重建深度，然后生成虚拟视角图。（这本身就是一个难点。如果在位姿还不准确，几何也可能存在空缺的情况下，不确定是否反而会引入误差。）

3. 时空约束的位姿优化

 看起来更像是将camera-rig看做刚体，所以多相机使用base位姿+相机外参的方式表达。最后再引入BA来最小化重投影误差。 

 

【结论】

相比于标定不好的多相机场景肯定有提升，但是通用性和效率方面还值得继续探讨下。此外，开源是本文的最大亮点：https://kcheng1021.github.io/ucnerf.github.io/.

 【参考】

Cheng K, Long X, Yin W, et al. UC-NeRF: Neural Radiance Field for Under-Calibrated multi-view cameras in autonomous driving[J]. arXiv preprint arXiv:2311.16945, 2023.