（slam和高斯） 空地融合和分块训练

https://blog.csdn.net/owlsun/article/details/150992197

 

空地融合+3DGS：攻克大场景建模中的关键挑战

 

前言
随着无人机航拍、三维激光扫描和计算机视觉技术的快速发展，大场景三维重建成为研究热点。然而，实际应用中仍面临诸多挑战：多源数据难以对齐，高分辨率图像显存占用过大，训练耗时长，遮挡导致拟合错误，复杂光照造成颜色不一致，以及分块合并时接缝明显的问题。

为解决这些难题，本文介绍了一种基于空地融合多源数据的大规模3DGS建模项目。通过整合地面激光点云、无人机影像与深度学习算法，提出了一套完整流程，实现高质量、高精度的三维重建。

一、数据预处理
1.1 空地数据格式
◆地面激光点云（.las 或 .ply 格式）：通过三维激光扫描仪获取建筑物立面、地面和植被的精细表面信息。
◆无人机航拍影像（.jpg等格式）：获取地物顶部的三维空间信息，弥补地面点云因遮挡导致的空洞问题。

 

1.2 执行SfM并生成COLMAP格式数据
◆导入数据
将无人机航拍影像和激光点云数据分别导入Metashape。

◆对齐后配准
利用地面控制点（GCP）或手动选取至少3个同名点，完成初步对齐。
GCP布设在重叠区域，并通过CSV文件导入实测坐标。
采用ICP算法优化点云与影像的对齐精度，降低误差。

◆得到融合数据
通过‘人工粗配准+ICP算法精配准’相结合的方式，将无人机影像与地面激光点云对齐，构建完整的三维场景模型。

◆导出对齐结果为colmap格式
导出对齐后的相机参数和点云数据为colmap格式（代码见上一篇），用于后续3DGS分块和训练。

 

 

 

二、处理数据与训练3DGS
2.1 分块与并行训练
◆小场景：可直接一次性训练。
◆大场景：沿XY轴（地平面）分割，每个子块包含均衡的点云数量。
◆并行训练：为每个块启动独立的训练进程，动态调度GPU资源，大幅缩短训练时间。

 

 

图3：场景分块效果示意图

2.2 根据2D-3D对应关系选出相关联的相机
◆基于生成的定向包围盒，筛选出与目标区块相关联的相机，包括位于区块内的相机和区块外可能对其产生影响的相机。针对区块外的相机，沿目标区块中心发射射线，计算其与目标区块之间的所有中间区块。

◆将中间区块的点云投影到当前相机位姿下，生成对应的二值掩码。通过形态学闭运算对掩码进行优化，填充空洞并去除噪声，确保掩码能够准确反映可见区域，从而提升后续图像处理和三维重建的质量。

 

 

2.3 光照差异问题
◆为应对复杂光照条件下的颜色偏差和几何漂移问题，使用双边滤波对点云进行降噪处理，同时保留边缘细节。

◆结合外观嵌入技术，解耦光照与几何信息，为每个视角提供个性化的光照修正。

◆高斯点在保持几何一致性的同时，根据局部光照条件动态调整颜色和亮度，有效避免因光照差异导致的拟合误差。

2.4 遮挡、拟合偏移问题
在深度信息拟合过程中，遮挡或背景块干扰可能导致错误结果。为此，采取以下策略：
◆深度信息筛选
利用深度图生成二值掩码，并通过形态学操作优化掩码，确保仅保留目标块的可见区域。

◆相机射线投影校正
通过射线投影方法，明确目标块与其他块之间的遮挡关系，优先保留深度最近的块内点云信息，避免背景块对前景块的干扰。

◆训练数据优化
根据优化后的掩码标记参与训练的像素，减少因深度信息不一致导致的拟合误差，提升模型的训练精度和鲁棒性。

2.5 数据冗余问题
◆ 分辨率调度器
在空地融合任务中，地面激光点云提供几何低频信息，无人机影像提供纹理高频信息；若全程以全分辨率渲染训练，计算冗余大。通过动态分辨率调度，可在不牺牲最终精度的前提下压缩训练时间。

◆ 优化过程
将优化过程视为“由低频到高频的渐进式拟合”。早期用低分辨率快速收敛场景低频结构（激光主导几何）；中期逐级提升分辨率，引入无人机影像的高频纹理；后期恢复全分辨率，保证与原始空地数据一致的视觉与几何保真度。

2.6 合并区块与高斯点优化
◆ 区块合并与外观特征融合
在区块合并过程中，融合外观特征并应用MipSplatting滤波器，确保合并后的模型在纹理和光照上的一致性。通过扩展边界区域的对齐与融合，减少因区块拼接导致的视觉不连续问题，提升整体模型的视觉质量。

◆ 高斯点影响范围优化
针对影响范围超出块边界的高斯点，采用分裂策略将其限制在块内，确保其影响范围不会延伸到块外。同时，保留块内的高斯点不变，避免过度处理对原始数据的影响。该方法有效减少了因边界扩展导致的冗余计算，同时保证了合并后模型的精度和效率。

◆ 去除重复点
在区块合并过程中，部分高斯点可能因边界扩展而重复出现。通过分析点云的空间分布，识别并移除这些重复点，确保最终模型的干净与高效，同时避免冗余数据对渲染性能的影响。

三、最终成果
3.1 场景展示
◆室内场景：呈现建筑物内部的高精度重建效果，包含复杂的玻璃反射和弱纹理区域。
◆室外场景：覆盖城市建筑群、自然景观和道路网络，细节丰富且层次分明。

 

 

图8：基于Unity的大场景3DGS渲染器

3.2 应用场景
◆智慧城市：用于城市规划、交通管理和灾害监测。
◆影视制作：提供高质量的虚拟场景素材。
◆文化遗产保护：精确记录历史建筑的几何和纹理信息。

四、总结与展望
本项目通过空地融合技术和3D高斯重建方法，成功实现了大场景的高质量三维建模与渲染展示。
未来计划：
◆将项目整合至全自动脚本并开源。
◆解决高空处缺少激光点云的问题，增强模型细节表现。
◆性能优化，以更短时间实现更高精度的效果。
◆结合语义分割，实现场景的智能化分析。