Reloc3r 网络相对和绝对位姿估计

Reloc3r: Large-Scale Training of Relative Camera Pose Regression for Generalizable, Fast, and Accurate Visual Localization

 

 

Reloc3r

分为两个阶段

阶段1 两张图像之间神经网络计算相对R和没有尺度的单位t

关键点：

1 采用神经网络训练计算出来的。

2 这一块未来可以用别的模块代替。

阶段2 利用地图帧集合绝对位姿和最小二乘优化，优化出来t的真实位置，恢复尺度。

关键点：

1 2d-2d 一般是没有尺度的，但是地图点匹配2D-3D 因为光照视角变化匹配失败不能用。

2 这里用最小二乘优化法，避开了尺度的求解。

3 阶段1 就可以被各种算法替换，统一到阶段2在没有尺度下恢复尺度。

4 有一个方法 2个关键帧，通过R和单位t,三角形角度拟合相似比，算出t的尺度，但是只是利用了2帧。

这个Reloc3r阶段2用的优化方法可以用很多个地图帧

5 怎么找到匹配的地图帧集合，尤其是特征点词带模型因为光照失败，使用CosPlace，通过语义查找相似的图像。

https://github.com/gmberton/CosPlace