ASt3R-SfM对多张图做SfM恢复相机位姿和几何结构,思路和DUSt3R中的global alignment类似,都是先构建共视图,然后共视边做MASt3R推理,最后全局优化。

2.1 共视图构建
共视图构建的目标是:在保证连接关系的前提下尽量少一些共视边,从而减少推理次数。具体步骤如下:
- 先通过ASMK计算所有图像间的相似度,得到相似度矩阵
- 选张图作为关键帧,关键帧之间全连接。选帧策略是最远点采样(FPS):先随机选一帧,然后在相似度矩阵中搜索与该帧距离最远的帧,后续依次选与当前已选帧的全部距离最远的帧。
- 剩余图像,搜索最近关键帧进行连接,同时搜索k个近邻帧(不一定是关键帧)进行连接。
最终大约能得到 条边,是全部图像数量。



浙公网安备 33010602011771号