ISPRS | ULSR-GS: 港科广等提出基于航空倾斜影像的多视角几何一致性高斯溅射城市重建方法

题目：ULSR-GS: Urban large-scale surface reconstruction Gaussian Splatting with multi-view geometric consistency

期刊：ISPRS Journal of Photogrammetry and Remote Sensing

论文：https://doi.org/10.1016/j.isprsjprs.2025.10.008

项目：https://ulsrgs.github.io/

单位：西交利物浦大学, 香港科技大学(广州), 利物浦大学, 俄亥俄州立大学, 盐城工学院, 马德里理工大

 

 

1）点到图像 (Point-to-Photo) 分区

以SfM稀疏点云的空间分布为核心进行分区，并为每个SfM点挑选最相关的图像子集，从根源上解决“按相机位置”分区造成的覆盖不均与冗余，支撑跨 GPU 并行并提升分区内的有效监督。

2）多视角引导的稠密化 (Multi-View Guided Densification)

在每个子区内，通过跨视深度聚合与法向一致性来进行投影稠密化，显式惩罚多视图间深度/法向的不一致，从而在独立训练各子区的同时仍保细节、保一致性。

3）一致性感知损失 (Multi-View Consistency-Aware Loss)

引入深度与法向的一致性损失，与2DGS/3DGS的渲染与正则项共同作用，显著提升几何保真度。重要的是，每个子区可独立提网格并最终无缝拼接，避免“先合并再提取”的超大内存开销。

背景

规模城市三维表面重建在数字孪生、城市规划和虚拟仿真等领域具有重要应用价值，传统多视角立体视觉（MVS）方法虽然能够生成高质量模型，但在处理数千张高分辨率航空倾斜影像时面临计算效率低、耗时长的瓶颈问题。近年来，3D Gaussian Splatting（3DGS）作为新兴的神经渲染技术凭借其快速渲染能力和几何提取潜力受到广泛关注，但在城市级大规模场景重建中仍存在三大核心挑战：现有基于相机位置的场景分区策略在不规则倾斜摄影中导致训练数据分布不均且无法预定义网格边界；单GPU内存限制（24GB仅支持约800万高斯基元）和依赖单视角梯度的密集化策略导致低纹理区域重建不足和几何细节丢失；缺乏多视角几何一致性约束引发表面伪影、浮点和几何不一致问题。为此，本文提出ULSR-GS方法，通过基于SfM点云密度的智能分区、多视角引导的自适应密集化和深度-法线双重一致性约束，实现了在多GPU平台上高效处理万级影像规模的城市场景重建，相比MVS方法在保持相当或更优几何精度的同时将处理时间缩短约70%。

 

数据

本文使用多个大规模城市航空倾斜摄影数据集，涵盖五向摄影、近距离摄影、混合摄影三种类型，总计超过25,000张高分辨率影像。

具体数据集

GauU-Scene数据集

• 规模：6个场景，平均1200张影像/场景，覆盖>1 km²

• 特点：重叠率<50%（稀疏数据），提供LiDAR点云GT

• 用途：主要几何精度评估

UrbanScene3D (US3D)

• 规模：Campus场景5871张五向影像（2.5 km），Residence场景2582张

• 特点：重叠率>70%，包含近距离倾斜摄影场景

• 用途：测试密集数据和复杂相机路径的处理能力

自定义数据集Scene 1

• 规模：约8976张五向影像，覆盖4 km²

• 特点：完整校园场景，规则采集路径

• 用途：大规模场景重建和与MVS方法对比

自定义数据集Scene 2

• 规模：约10,000张混合影像（五向+近距离补充），覆盖2 km²

• 特点：包含水域、200米以上摩天楼，采集路径不规则

• 用途：测试极端复杂场景和水陆融合建模（配合USV测深数据）

Matrix City数据集

• 规模：Small City场景

• 用途：与CityGaussianV2对比