利用分层3D GS，实时渲染超大规模场景！

https://blog.csdn.net/CV_Autobot/article/details/138739639

 

 

近年来，新视角合成取得了重大进展，3D Gaussian splatting提供了出色的视觉质量、快速训练和实时渲染。然而，训练和渲染所需的资源不可避免地限制了可以以良好视觉质量表示的场景大小。本文引入了一种3D高斯层次结构，该结构在保留大场景视觉质量的同时，为有效渲染远处内容提供了高效的细节级别（LOD）解决方案，实现了有效的级别选择和级别之间的平滑过渡。方法采用了一种分而治之的方法，使我们能够在大场景中独立地训练多个block。将这些块整合成一个层次结构，该层次结构可以优化以进一步改善合并到中间节点的高斯函数的视觉质量。非常大的捕获通常具有稀疏的场景覆盖，给原始的3D高斯平铺训练方法带来了许多挑战；我们调整和规范了训练以解决这些问题。我们提出了一个完整的解决方案，该方案能够实时渲染非常大的场景，并可以通过LOD方法适应可用资源。我们展示了使用简单且负担得起的设备捕获的场景的结果，这些场景包含多达数万张图像，涵盖了长达数公里、持续时间长达一小时的轨迹。

针对3D高斯Splatting的分层细节级别

在处理大型场景时，细节级别（LOD）解决方案至关重要，它们允许有效地渲染大量内容；因此，我们的目标是创建一个层次结构，以表示通过原始3DGS优化生成的图元。遵循图形中的传统LOD方法，我们需要：

1）找到候选的3DGS图元并定义如何将它们合并到中间节点中；

2）提供一种有效的方式来确定层次结构中的切割点，以在质量和速度之间取得良好的平衡；

3）在层次级别之间提供平滑的过渡策略。