【三维重建】即插即用的3DGS的PDE优化：高质量渲染和重建 - 教程

---

标题：<Plug-and-Play PDE Optimization for 3D Gaussian Splatting: Toward High-Quality Rendering and Reconstruction>
来源：匿名作者

文章目录

• 一、摘要
• 二、准备知识
• • 梯度分析
• 三、重要手段
• • 3.1 基于PDE的3DGS优化
  • 3.2 基于MPM的解决方案
  • 3.3 粒子约束
• 实验
• • 新视角合成
  • 表面重建
  • 消融实验

---

一、摘要

3DGS凭借3DGS基元表征场景，实现了高质量新型视图合成与快速渲染速度，彻底革新了辐射场重建技术。然而在处理复杂场景时，由于redundant 和ambiguous geometric structures（冗余模糊几何结构），该方法会出现画面模糊blurring 和漂浮floaters。大家发现这一现象源于高斯函数优化过程中的不稳定性。针对这一局限，我们提出了一种基于偏微分方程的即插即用优化方法，有效突破了传统3DGS方法在新型视图合成、表面重建等任务中的优化限制。先，我们从理论上推导出3DGS优化流程可建模为偏微分方程，并引入粘性项（viscous term，PDE中用于确保优化过程稳定的阻尼项） 确保优化过程稳定。其次，采用材料点法（MPM）获得偏微分方程的稳定数值解，同时强化全局与局部约束条件。此外，我们还创新性地提出高斯函数密集化策略和粒子约束机制，确保细节呈现的精细度。大量定性与定量实验表明，本方法在渲染与重建质量上达到了业界领先水平。

二、准备知识

3DGS：每个GS基元由可学习的中心位置$\mu$、不透明度$o$、颜色 $c$和协方差矩阵参数化：

3DGS被投影到图像平面上，通过$\alpha$混合技术结合将$N$个有序高斯排序来计算像素颜色$C$:

材料点法（MPM）是一种用于求解偏微分方程的离散方法，广泛应用于固体与流体模拟领域。该方法融合了环境的双重视角：在拉格朗日描述中，框架被视作由众多具有独立属性的粒子构成的离散相；而欧拉描述则将体系视为连续相，从而实现对粒子运动的整体性描述。

具体来说，粒子的运动方程随时间$t$演化如下：$f(v,x)=\partial v/\partial t$。然后，使用MPM将该函数离散化为：$f(v,x)=v^{t+1}-v^t$。

梯度分析

3DGS采用梯度下降法进行场景优化，这一过程对于建立高质量的场景表示至关重要。每个高斯都关联一组可训练的属性 Γ={，c，，s，q}，在优化过程中，每个属性的更新由以下公式给出：

损失的梯度许可通过链式法则计算：

通过沿与像素$u$相关的视线射线$l$积分，并考虑$N$个有序高斯，该方程可以展开为：

如附录A.1所示，当高斯的尺度较小时，位置梯度的magnitude明显大于其他参数梯度（∼表示渐近等价，$r_{q,i}$表示四元数定义的$q_i$的更新方向）：

三、主要方法

3.1 基于PDE的3DGS优化

公式化。在偏微分方程中，时间代表属性序列的更新过程，通过改变属性使系统状态向下一状态过渡，类似于3DGS的迭代步骤。因此，更新过程中高斯函数的属性是时间$t$的函数。对于原始3DGS，优化过程可表示为：${\mu }_i^{t+1}={\mu }_i^t+\sigma \frac{\partial L^t}{\partial {\mu }_i^t}$ 其中$\sigma$为学习率，${\mu }_i^t$是高斯$g_i$在时间$t$的位置。

高斯$i$在时间$t$的离散速度定义为 $v_i^t={\mu }_i^{t+1}-{\mu }_i^t$ ，因此，连续形式的速度方程为：

计算方程在时间$t$的偏导数（$\frac{d}{d_t}$是全导数，缘于$\mu ,c,o,s,q$都随时间变化）：

物质导数（Material Derivative)：也称为随体导数，是流体力学中的一个核心概念。它描述的是跟随一个流体微元（或一个粒子）运动时，其某个物理量（如速度、温度等）随时间的变化率：

根据时间导数的定义和牛顿-莱布尼茨公式，最终的运动方程被定义为：

粘性项 Viscous Term稳定且可控的，这归因于运动方程中的粘性项。就是。与3DGS优化不同，在流体模拟过程中，粒子位置更新

其中$▽v=0$，$t$为时间，$\rho$是密度，$p$是压力，$u$是粘度，$F$是重力加速度，$v$是流体场的速度，等于粒子位置$\mu$的导数，即$v=\frac{\partial \mu }{\partial t}$。粘性项$u▽\cdot ▽v$本质上为系统中的粒子赋予了加速度，使其趋向于周围环境的平均速度。这种作用可等效理解为将粒子的速度与周围粒子的平均速度进行混合。

受流体仿真的启发，在3DGS优化过程中引入粘性项，即将方程9改写为：

其中${\lambda }_g$是权重系数。遵循偏微分方程的基本原理，当$L$等于零时，$v$的能量会随着$t$逐渐减少，最终趋近于零。因此，引入粘性并不会改变方程的解，因为$t$趋于无穷大（3DGS的理论结果）。

为此，离散解的计算方式如下（$N_i$是高斯$g_i$的近邻集合）：

3.2 基于MPM的解决方案

公式12的离散形式可近似为：

由于计算相邻3DGS粒子运动的成本过高，采用粒子网格方法（MPM）将3DGS视为粒子进行求解。具体的，在3DGS优化过程中融合了Particle-to-Grid (P2G) 和Grid-to-Particle (G2P)两种策略，来抑制粒子运动，同时提供额外的运动引导来解运动方程。我们借助将场景空间划分为体素网格来构建速度场。粒子可以通过在体素网格中存储过剩速度并从体素网格获取额外速度来更新运动状态。因此，粒子实际上通过局部速度场信息进行调控，从而将粘性项引入优化过程。

Particle-to-GridP2G过程构建了一个 grid，用于存储粒子在体素网格中的过剩速度（Excess Velocity，流体中的粒子相对于其周围局部流体的速度）。如前所述，高斯$g_i$的位置通过$△{\mu }_i^t=\frac{\partial L^t}{\partial {\mu }_i^t}$进行更新，该值由损失函数梯度计算得出。小尺度高斯分布更容易发生位置突变，这会导致优化过程不稳定。因此，适度降低速度将有助于优化效果。具体而言，我们采用P2G过程来衰减粒子速度$△{\mu }_i^t$，同时保留粒子的运动特性。大家在step$t$将粒子$g_i$的过剩速度存储到体素网格$V_n$ 中。

其中$R_n^t$属于$R_t=${$R_0^t，....，R_N^t$}是体素网格$V_n$内包含的粒子集合，$v_n^t$是存储在$V_n$中的体素速度，${\lambda }_g$是权重系数。我们在附录A.2中展示了${\lambda }_g$的选择对总梯度没有影响

Grid-to-Particlegrid 不仅抑制粒子速度，还为粒子提供额外的运动引导。由于速度场代表了粒子在体素网格中的平均运动趋势，因此体素速度随后被用来引导粒子的运动

其中粒子速度被系数${\lambda }_g$抑制，而$△{\hat{\mu }}_i^t$则是更新后的速度。更新后的速度代表了粒子位置优化的最可能方向。不同粒子的速度相互作用，从而抵消了不同方向上位置属性的突变，同时还能从体素速度中获得额外的速度指引。因此，位置梯度的变化成功被粘性项所引导。

3.3 粒子约束

尺度损失在 PDE 中，粒子具有无尺度特性。然而，大尺度高斯会占据较大空间，这与偏微分方程系统的假设条件相矛盾。为此，我们为3DGS引入尺度约束：

$s^{\ast }$表示$g_i$的最大尺度，$G_k$是视点$k$中可见的3DGS的集合，$\beta$是尺度的边界。这种损失函数惩罚了大尺度的3DGS。小尺度的3DGS确保了捕捉高频细节的能力。

置信度损失由于3DGS被描述为偏微分方程中的粒子，因此需要避免使用半透明的高斯，确保GS具有高置信度并满足粒子假设：

高斯稠密化稠密化在 3DGS 中被用于克隆和分割新高斯体以填补空隙，（凭借计算视空间位置的位移梯度平均值来判断是否稠密化）。本文通过速度场引导克隆分裂过程。具体的，计算粒子速度场与体素速度场之间的余弦相似度，当满足 $cos(△{\mu }_i,u_n)>{\theta }_p$ 时，将高斯$g_i$稠密化。

实验

数据集。新视角合成选取了17个场景：Mip-nerf360的6个场景、《坦克与神庙》的7个场景，以及ScanNet++的4个场景。在表面重建方面，在丹麦科技大学献出的15个场景和《坦克与神庙》的7个场景上进行测试。场景具备有界室内环境和无界室外环境，。

实现细节。偏微分方程优化算法（PDEO）可轻松集成到现有基于 3DGS 的方法中，例如MipGS和2DGS，用于新型视图合成和表面重建任务。为确保评估一致性，我们采用原方法的默认参数设置：= 0.8、= 0.8、= 0.2、=120◦、= 0.6、= 0.04、= 0.04，并通过迭代逐步将从1递增至2.5。所有实验均在单个V100 GPU上做完。

新视角合成

本研究PDEO方法不仅大幅提升了基于3DGS算法的性能，同时显著优化了内存使用效率，见下表和下图。

表面重建

PDEO与基于最新的3DGS几何重建技术的技巧相结合，分别与2DGS、RaDeGS以及SuGaR 对比。如表2和表3所示，在DTU数据集上，PDEO在CD误差指标上持续优于基于3D几何重建的方法；在Tanks & Temples材料集上则在F1分数指标上表现更优。如图6所示，RaDeGS+PDEO在重建质量上展现出更优的几何精度和平滑度，其重建效果在定性评估中更为出色。这表明PDEO不仅能有效去除漂浮物，还能精准保留几何细节，从而显著提升重建质量。

消融实验

拓展：公式8证明

#pic_center =80%x80%

$\sqrt{d}$$\frac{1}{8}$$\bar{x}$$\hat{D}$$\tilde{I}$$ϵ$
$\varphi$$\prod$$\sqrt{abc}$$\sum abc$
/ $$