Gaussian Splatting - 知识点&使用

Gaussian Splatting

一、知识点

1. Paper 链接

https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/3d_gaussian_splatting_high.pdf

题外话

2. 架构图&对比图

2.1 架构图

2.1.1 黑色流程

• SfM 点云初始化为 3D 高斯
• 借助相机外参把点投影到图像平面上（splatting）
• 可微的光栅化渲染得到图像（从 splatting 痕迹中做光栅化）

2.1.2 黄色流程

• 渲染图像与真实图像(GT)做LOSS
• 反向传播
  • 向上：更新3D高斯的参数（协方差、位置、不透明度、球谐函数）
  • 向下：自适应密度控制更新点云
• 可微的光栅化渲染得到图像（从 splatting 痕迹中做光栅化）

2.2 效果对比图

3. Contributions

1）引入各向异性(anisotropic)的3D高斯分布作为高质量、非结构化的辐射场表达，（各向异性：每个点从不同视角看，效果不一样），即从 SfM 点云出发，以每个点为中心，生成高斯分布。

2）使用GPU快速可微渲染，允许各向异性的抛雪球（splatting）和快速反向传播；

比拟：把三维点视为雪球，往图像平面上抛，每个点扩散后的痕迹共同组成图片。

3）提出了针对3D高斯特性的优化方法，同时进行自适应密度控制；

部分细节：

• 存储在点里的高斯参数，在反向传播时进行优化更新。
• 根据梯度自适应调整点云分布，某个点的高斯太大，拆分为两个；某个位置的点太密集，整合为一个。

使用

源码链接

https://github.com/graphdeco-inria/gaussian-splatting

操作指南

(Windows/Linux(Ubuntu 22.04))

https://www.reshot.ai/3d-gaussian-splatting