Metric3Dv2 论文浅析

Metric3D v2: A Versatile Monocular Geometric Foundation Model for Zero-shot Metric Depth 论文浅析

1. 研究背景与挑战

单目深度与法线估计技术旨在从单张二维图像中恢复场景的三维几何信息，这在自动驾驶、机器人导航、增强现实以及新兴的AIGC（如3D场景生成、虚拟现实内容制作）等领域具有不可替代的价值。然而，该领域长期被视为"病态"问题，主要受困于两个核心挑战：

1.1 尺度二义性问题

从单张图像推断深度存在根本性的模糊性。这种模糊性一方面来源于物体实际大小的未知；另一方面，更关键且容易被忽视的是，由不同相机内参（尤其是焦距）差异引起的透视畸变。这使得同一物体在不同相机、不同距离下可能呈现相同的图像尺寸。

1.2 数据稀缺性问题

高质量的表面法线真值获取成本极高。深度真值尚可通过RGB-D相机或激光雷达直接获取，但法线真值通常需要对场景进行稠密3D重建和渲染（例如Omnidata方案），过程需要大量工程和人工成本，导致大规模、多样化的法线标注数据（尤其是室外场景）极其匮乏。

2. 传统方法的局限性

面对上述挑战，传统方法各有侧重但也存在明显缺陷。下表对比了传统方案与Metric3D v2的核心理念：

方法类别	代表模型	核心思想	优势	固有缺陷
相对/仿射不变深度估计	MiDaS, LeReS, DepthAnything	学习不受绝对尺度影响的相对深度关系	零样本泛化能力强	无法恢复真实物理尺度，限制其在SLAM、测量等需要度量信息的应用
度量深度估计	早期监督学习方法	在特定数据集上学习真实尺度	在特定域内精度高	泛化能力差，难以应对不同相机参数下的测试图像
表面法线估计	Omnidata, Polymax	依赖高质量法线标注进行训练	在数据覆盖范围内表现良好	受限于法线标注的规模与质量，零样本性能受限

为恢复尺度信息，如ZoeDepth等方法尝试在预训练的相对深度模型基础上，于特定数据集上进行微调。然而，这种方法使网络学到的深度分布受限于微调数据集，尺度误差较大，且破坏了模型的零样本泛化能力。

3. Metric3D v2 的核心方法原理详解

Metric3D v2的创新性体现在它系统性地提出了解决上述挑战的方案，其核心流程如下图所示，主要包含规范相机空间变换和深度-法线联合优化两大模块。

3.1 规范相机空间变换（CSTM）：根治尺度二义性

为了解决相机内参变化引起的尺度二义性，Metric3D v2提出了规范相机空间变换模块。其核心思想是定义一个焦距固定的虚拟"规范相机"，将所有训练数据（无论由何种相机拍摄）都通过几何变换统一到这个规范空间中进行学习。这样，网络只需学习一种相机模型下的透视规律，彻底摆脱了相机差异带来的困惑。

CSTM提供了两种在数学上等效的实现路径：

图像变换法（CSTM_image）

通过缩放输入图像来模拟在规范焦距下的成像效果。缩放因子 s = f_canonical / f_original，其中 f 为焦距。在针孔相机模型中，物体在图像传感器上的大小（成像高度 h）与物体实际高度 (H)、物体到相机的真实距离 (Z)、以及相机的焦距 (f) 成正比，关系为 h / f = H / Z。

对于一个固定的物体，如果在不同焦距 (f_orig 和 f_canon) 下拍摄，要使其在图像上呈现相同的大小，那么它们必须满足 f_orig / Z_orig = f_canon / Z_canon。CSTM_image 方法通过缩放图像（缩放因子 s = f_canon / f_orig）来"欺骗"网络，让它认为当前图像是由焦距为 f_canon 的规范相机拍摄的。

标签变换法（CSTM_label）

保持输入图像不变，而是根据相同的缩放因子 s，直接调整深度标签的真值（D_canonical = s × D_original），使其符合规范相机的几何关系。此方法基于相同的透视投影几何原理，但操作对象是深度标签。目标同样是让网络在规范焦距 f_canon 下学习。它通过直接拉伸或压缩整个场景的深度轴 (Z轴) 来实现。

变换的核心公式是深度值的缩放：
Z_canon = (f_canon / f_orig) * Z_orig = s * Z_orig

在推理阶段，网络预测出的规范空间深度图会通过一个反变换恢复为真实世界的物理尺度。该方法可以无缝集成到现有的单目深度估计模型中。

3.2 深度-法线联合优化：解决法线数据稀缺

为解决法线标注稀缺的问题，Metric3D v2引入了深度-法线联合优化框架。该框架的巧妙之处在于，它允许法线估计从大规模的深度标注中蒸馏知识，其知识来源有三个：

1. 可用的真实法线标注（当存在时）
2. 迭代优化中深度和法线特征的前向交互
3. 稠密深度预测提供的伪法线标注（核心创新）

当法线标注缺失时，算法会从预测的深度图计算梯度来生成伪法线真值，为法线估计提供弱监督信号。这意味着模型能够从海量的（相对容易获得的）深度标签中学习几何知识，从而显著提升法线估计的零样本泛化能力。

该模块采用RAFT风格的迭代优化机制，使用ConvGRU单元进行多次迭代更新，逐步细化深度和法线的预测结果，以获得全局一致且细节丰富的输出。

3.3 随机区域归一化损失

为了进一步提升局部几何细节的度量深度精度，论文提出了随机区域归一化损失函数。该函数对图像随机裁剪局部块并进行中值归一化，增强局部对比度，有助于恢复更清晰的物体边缘和复杂结构。

3.4 大规模多源训练

为了确保模型的泛化能力，Metric3D v2在超过1600万张图像上进行训练，这些数据来自16个公开数据集，涵盖了室内、室外、自动驾驶等多种场景，由超过10,000种相机内参采集。这种大规模、多源的数据训练是模型获得强大零样本泛化能力的基础。

4. 实验结果与性能分析

Metric3D v2在多个权威基准测试上进行了零样本评估，展现了压倒性的性能优势。下表展示了其在典型数据集上的表现：

任务	数据集	评估指标	Metric3D v2 结果	对比先进方法	性能优势
度量深度估计	NYUv2 (室内)	AbsRel (相对误差) ↓	0.067 (ViT-g)	ZoeDepth: 0.077	误差降低约13%
度量深度估计	KITTI (室外)	AbsRel (相对误差) ↓	0.051 (ViT-g)	DepthAnything: 需微调	零样本下误差仅5.1%
表面法线估计	NYUv2 (零样本)	30°阈值精度 ↑	88.1% (ViT-g)	Polymax: 87.8%	实现最佳性能

此外，在包括绝对深度、相对深度和法线估计的共16个基准榜单上，Metric3D v2均取得了第一名的成绩，涵盖了域内和域外测试，充分证明了其强大的通用性。

5. 总结与未来展望

5.1 论文总结

Metric3D v2通过提出规范相机空间变换（CSTM）和深度-法线联合优化框架，系统地解决了单目几何估计中的尺度二义性和标注数据稀缺两大核心挑战。其在大规模多源数据上训练，并在零样本设置下在16个基准测试上取得领先性能，奠定了其作为"几何基础模型"的地位。