论文3 优化
1. 现有模式
- 默认关闭时序预测,每帧独立使用 DINOv3 VPR 检索。
- VPR 获取候选关键帧后,通过局部匹配和 PnP 几何验证。
- 开启 --vpr-temporal-prior 后:
- 第一帧使用 VPR。
- 只有一帧历史时使用上一帧位置。
- 有两帧历史时使用恒速预测。
- 生成约20个时序候选,并全部排在 VPR 候选前。
- 时序候选全部失败后才尝试 VPR。
- 问题:时序预测错误时会连续验证大量错误关键帧,VPR介入过晚,容易造成连续丢帧。
2. 需要修改优化
- 没有两帧有效历史:直接使用 VPR Top-5。
- 有两帧稳定历史:只生成距离预测位置最近的2~3个时序候选。
- 候选优先级:
1. 时序候选与 VPR Top-5 的交集。
2. 时序最近的2~3帧。
3. VPR Top-5剩余候选。
- 时序候选几何验证失败后,立即切换到 VPR,不再尝试大量时序候选。
- 只有定位成功且通过 PnP验证的帧才能更新时序历史。
- 连续丢帧时:
- 降低或关闭时序预测。
- 将 VPR 范围扩大至 Top-10。
- 必要时清空历史,恢复纯 VPR 冷启动。
- 记录候选来源、验证顺序、VPR排名、时序距离和失败原因,方便后续消融统计。
• 默认在最优匹配关键帧之后,再取 3 个共视关键帧:
- 最优匹配关键帧:1 张
- 共视关键帧:最多 3 张
- 总参考图像:最多 4 张
对应参数:
--max-covisible 3
共视帧按以下顺序选择:
1. 与最优关键帧共享的 COLMAP 三维点数量更多
2. 相同情况下优先相机距离更近
3. 默认要求共享点数量 大于 15
如果符合条件的共视帧不足 3 张,则实际数量会少于 3 张。使用:
--single-keyframe
可完全关闭共视扩展,只使用最优匹配关键帧。
浙公网安备 33010602011771号