【PR】Block-NeRF: Scalable Large Scene Neural View Synthesis

【简介】

 本文的作者来自UC Berkeley，Waymo和Google研究院，一听就是大佬。发表在CVPR 2022。

 Block-NeRF是一种大规模环境的神经辐射场。当渲染多个街区的大规模城市场景时，Block-NeRF通过将环境分解为多个单独训练的紧凑NeRF来实现大规模场景的表示，这些NeRF在推理时可以无缝地组合渲染。这种方法不仅使得渲染时间与场景大小解耦，还能够渲染任意大小的环境，并且允许对环境中的单个块进行更新。作者为每个单独的NeRF添加了外观嵌入、位姿精细优化和可控曝光，可以校准相邻NeRF之间的外观，从而可以实现无缝结合。作者从280w张图构建了一个Block-NeRFs网络，创建了迄今为止最大的神经辐射场，渲染了旧金山的一整个街区。

 

 

【创新点】

 1. 将大环境划分为区块单独训练，在推理时动态渲染和组合。

2. 引入外观匹配，将不同block进行视觉对齐。

通过将场景细分，Block-NeRF实现了几个关键优点：

• 可扩展性：通过将大场景拆分成可管理的小块，大大提高了处理大型场景的能力。
• 效率：可以并行处理各个块，进一步提高渲染速度。只需加载并处理当前视角附近块的数据，从而减少了内存和计算资源的需求。
• 灵活性：对于场景中的动态变化，只需更新影响的块而无需重新训练整个场景模型，提高了模型更新的效率。

 

【review】

 

 

 

【方法】

 

 

关键技术包括：

• 单独Block-NeRF训练：
  • 　　外观嵌入：引入外观嵌入来处理不同环境条件下捕获的数据，如天气变化和一天中不同时间的光照条件。
  • 　　学习姿势细化：通过学习相机姿势的细化偏移量来提高数据对齐的准确性。
  • 　　可控曝光：允许在推理期间调整图像的曝光水平，以模拟不同的光照条件。
  • 　　可见性预测：通过预测空间中点的可见性来辅助Block-NeRFs的合并，特别是在渲染时决定哪些Block-NeRFs对目标视图有贡献。
• 多Block-NeRF表示：通过将场景分解为多个Block-NeRFs，每个Block-NeRF独立训练，可以在推理时动态组合渲染，从而实现对大规模环境的渲染。

 

【结论】

 最后，尽管Block-NeRF在大规模场景重建方面取得了显著进展，但仍存在一些局限性，如对动态对象的处理、渲染质量和速度的提升空间，以及训练效率的改进。未来的工作可能会集中在这些方面，以及探索如何进一步提高Block-NeRF的实用性和效率。

 

【参考】

Tancik M, Casser V, Yan X, et al. Block-nerf: Scalable large scene neural view synthesis[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 8248-8258.