基于参考图像的移动相机地理空间轨迹估计方法

 

实际应用中的优化

在实际实现中，还会采用以下策略提高精度：

• 多组三元组并行计算，结果融合
• RANSAC剔除异常匹配
• 序列帧间的运动平滑约束

 

基于参考图像的移动相机地理空间轨迹估计方法

摘要

本文提出了一种新颖的方法，用于估计移动相机的地理空间轨迹。该方法利用一组已知GPS位置的参考图像，通过几何约束恢复移动相机的轨迹。提出的方法包含三个主要步骤：首先，检测并匹配参考图像与视频帧之间的SIFT特征，基于匹配数量计算加权邻接矩阵(WAM)；其次，利用估计的WAM为当前视频帧选择最佳匹配参考图像，通过基础矩阵约束估计视频帧的相对位置（旋转和平移）；最后，采用异常值剔除和轨迹平滑（使用B样条）后处理步骤，以消除由错误点对应或基础矩阵退化估计引起的噪声。

 

 

1. 引言

GPS技术最初由美国国防部于约15年前推出，用于全球军事人员和车辆跟踪。如今，GPS已广泛应用于自动驾驶导航以及车辆和机器人的定位。本文重点解决两个问题：基于图像序列定位移动相机的地理空间位置并估计其轨迹。通过参考图像（已知GPS）与视频帧之间的最大SIFT匹配实现地理空间定位，并利用几何约束估计相机轨迹。与传统方法（如SFM和SLAM）相比，本文方法的创新点在于无需对环境进行3D重建，仅需一组已知GPS位置的参考图像即可实现定位。此外，通过子采样视频帧进行定位，并利用样条插值获得平滑轨迹，降低了计算复杂度。

 

 

 

2. 系统概述

目标是根据已知GPS的参考图像集{Ip, p=1..N}，计算新颖视频帧{Vt, t=1..M}的地理空间定位。假设部分视频帧与参考图像存在视野重叠，且相机内参恒定。系统流程如图1所示：首先通过自动标定获取相机内参；其次，通过视频帧间的单应性测试选择关键帧；接着，计算参考图像与视频关键帧的SIFT特征匹配，构建加权邻接矩阵（详见2.1节）；然后，利用最大匹配参考图像和视频帧估计基础矩阵和本质矩阵，恢复相机姿态（详见2.2节）；最后，通过三角测量解决尺度模糊性，获得视频关键帧的地理空间定位（详见2.3节）。对所有关键帧重复上述步骤后，使用样条拟合进行轨迹平滑。

 

 

2.1 加权邻接矩阵估计

为建立参考图像Ip与视频帧Vt之间的特征点对应关系，本文对比了Harris角点检测、尺度与仿射不变点检测以及SIFT三种方法，最终选择SIFT因其对仿射失真、视角变化、噪声和光照变化的鲁棒性。匹配时，通过计算特征向量间最小与次小欧氏距离之比进行筛选，阈值设为0.4以确保高可靠性。通过二分图最大匹配实现一对一对应，构建加权邻接矩阵W(Ip,Vt)，其元素值为Ip与Vt间的匹配特征数量。匹配点位置存储于矩阵M(Ip,Vt)中。

 

 

2.2 视频帧姿态恢复

目标是将视频帧Vt的相机光心位置PVt={Xt,Yt,Zt}映射到参考图像Ip的世界坐标系中。

首先将参考图像的GPS坐标（经纬度）转换为笛卡尔坐标PIp={Xp,Yp,Zp}；

然后通过W(Ip,Vt)选择最大匹配参考图像Ip，并利用M(Ip,Vt)估计基础矩阵Ftp。

为减少噪声影响，采用RANSAC进行鲁棒估计。

再通过相机标定矩阵Kt和Kp计算本质矩阵Etp，进而分解出旋转矩阵R和平移向量t（含尺度模糊性）。

需要特别注意的是，此时获得的平移向量t存在尺度模糊性——只能确定方向而无法确定实际大小。

 

2.3 尺度模糊性解决

如图2所示，通过三角测量解决尺度模糊性。对于每个视频帧Vt，选择两个GPS位置不同的参考图像Ii和Ij，构建最佳三元组BT(Vk)=(Vk,Ii,Ij)，使得三元组内匹配特征数最大。通过计算相机坐标系间的旋转和平移（(Rij,tij), (Rik,tik), (Rjk,tjk)），利用余弦定理求三角形内角，再结合参考图像间的实际距离D(Ii,Ij)恢复尺度因子。若存在共线情况则丢弃该三元组。最终将相机中心坐标转换回经纬度。

 

最佳三元组选择

对于每个视频帧Vt，从整个参考图像集中选择两个参考图像，确保三元组具有以下特性：

• 与视频帧具有最大匹配特征点数
• 两个参考图像必须具有不同的GPS位置（避免退化情况）

最佳三元组BT(Vk)的数学表达式为：

BT(Vk) = (Vk, Ii, Ij)
(i,j) = argmax(i,j=1..N) min{ W(Vk,Ii), W(Vk,Ij), W(Ii,Ij) }

角度计算与尺度恢复

给定三个相机坐标系间的旋转和平移关系(Rij,tij), (Rik,tik), (Rjk,tjk)，通过以下公式计算三角形的三个内角：

θ1 = cos⁻¹( dot(t1,t2) / (norm(t1)·norm(t2)) )
θ2 = cos⁻¹( dot(-t1,R1·t3) / (norm(t1)·norm(t3)) )
θ3 = 180° - θ1 - θ2

 

其中norm(x)表示向量x的模长。通过两个参考图像间的实际距离D(Ii,Ij)（从GPS位置计算得出）恢复尺度因子。如果任何角度为0度（表示图像位置共线），则丢弃当前三元组，选择新的三元组进行三角测量。

坐标转换与最终定位

恢复的相机中心坐标从笛卡尔坐标转换回球面坐标，获得最终的经纬度GPS位置。这一过程完整解决了平移向量的尺度模糊性问题，实现了精确的地理空间定位。

误差分析与质量控制

图4显示了对称极线距离与定位方差之间的关系，表明较高的定位方差通常对应于较高的平均对称极线距离，这反映了基础矩阵估计因噪声而产生的误差。

 

 

 

2.4 轨迹平滑

基础矩阵估计对特征匹配噪声敏感，可能导致GPS定位错误。通过多次RANSAC估计获取每个视频帧的GPS位置分布，剔除高方差估计值，保留低方差结果作为B样条控制点进行插值，生成平滑轨迹。

3. 实验结果与分析

使用Garmin GPSMAP 76S（精度3米）获取真实GPS数据作为基准。采集300余张参考图像（示例如图5）和4段总计超2500帧的高清视频序列进行测试。结果如表1所示：平均定位误差在3.55米至5.12米之间。

 

 

 

 图6和图7分别展示了剧院和健康中心序列的轨迹估计结果。健康中心序列误差较高源于场景中存在树木和非显著特征（如草地），但本文方法仍可适用，而依赖全局显著特征的SFM方法在此类场景中会失效。

进一步在ICCV 2005竞赛数据集（test4和final5）上验证方法鲁棒性。结果如表2所示，平均误差分别为3.05米和6.08米，优于竞赛平均分数。图8和图9展示了估计GPS与真实值的视觉对比。

 

 

 

4. 结论

本文提出了一种无需3D环境重建的移动相机轨迹估计方法，通过参考图像与视频帧的几何约束实现定位。优点包括：①不要求所有视频帧均包含显著特征；②计算效率高。实验表明方法在真实序列和标准数据集上均有效。