A review of visual inertial odometry from filtering and optimisation perspectives

A review of visual inertial odometry from filtering and optimisation perspectives

• 摘要

VIO是使用板上摄像头和IMU测量值来估计移动物体位置和方向改变的技术。由于它的尺寸小、成本低，最近吸引了很多研究人员的关注，在一些潜在应用很受欢迎。但是在精度、实时性、鲁棒性和操作尺度上，其技术的发展和工程应用还需要解决很多问题。这篇综述从滤波和优化方面展现了当前VIO技术的状态。滤波和优化是当前VIO技术的两大分支。为了清晰的阐述，先阐明了三维刚体的各种表现形式。然后讲了基于滤波的综述，随后阐述了基于优化的途径。两个途径之间的联系讲通过贝叶斯最大后验的框架来连接。还讨论了observability和自标定。

• Introduction

第一段：阐述了SLAM和SFM是机器人和计算机视觉主要研究之一，目前的研究更多兴趣在于小尺寸比如UAV、手持设备，因此就倾向于使用IMU和相机传感器。这些传感器成本也降低了、精度提高了、尺寸变小了。视觉和IMU相互补偿，可以弥补对方的一些小错误。有证据表明，人类和其他一些动物的导航依赖于移动感知和视觉的结合。

第二段：在给定噪声测量结果的对于动态系统的随机估计算法像扩展卡尔曼滤波、粒子滤波是主要被使用的。

第三段：通过相机帧图片计算位姿的方法，高斯牛顿，梯度下降等等。为了提高计算效率，只给出估计状态而不给出估计分布信息。

第四段：基于优化的方法是在不停的迭代中寻找概率最大的测量结果。基于滤波的方法是最大后验概率，其中位姿的先验分布由IMU提供，后验概率由相机提供。迭代的卡尔曼滤波是和基于优化的方法是等效的。

第五段：一些小装置上因为成本问题没有回环检测，因此研究问题就是如何降低误差的累计。

• 基于滤波的方法
  • EKF由prediction和updating组成。惯性传感器提供的数据可以在prediction进行运动预测。相机提供的数据可以在updating中更新预测结果。
  • 基于扩展卡尔曼滤波的VIO框架下均值和方差的传播过程的总结
    • 当IMU数据即角速度加速度采样频率确定，可以进行滤波，状态向量则利用数值积分。
    • 传播状态协方差矩阵的计算
    • 视觉采集的信息在EKF中的作用：分为松耦合和紧耦合。松耦合直接通过视觉获得位姿，之后通过EKF融合IMU。紧耦合将提取的图像信息和IMU数据结合，计算卡尔曼增益，不停的迭代获得结果。
• 基于优化的方法
  • 基于优化的方法依赖图像处理和图像匹配技术，其将IMU数据视作一个先验或者不需要IMU。分为map和track两个线程。关键帧可以实时操作待优化的窗口。
  • 对于特征提取，提取特征时的误差可能一直传播并累积，因为它没有利用原图像的信息而只利用了一部分稀疏的特征点。
  • 介绍了稠密发和半稠密发，还有光流。
  • 基于优化的紧耦合，将IMU视为先验，图像视为最大似然。结果是一个后验分布。进行最大后验估计得到结果。
• 基于优化和基于滤波之间的连接
  • 两者都是基于贝叶斯框架下，当需要连续近似为线性时，通过迭代的EKF进行连接。当仅近似单步为线性，基于平滑的方法包括前向传播和后向传播，基于优化的方法可以使用Cholesky分解最小二乘问题的信息矩阵来求解。基于滑动窗口的将成本分为两部分，一部分使用EKF优化结果，另一部分状态边缘化。
  • 基于滤波的计算核心是卡尔曼滤波，基于优化核心是高斯牛顿方法。两者之间的联系是IEKF，迭代的扩展卡尔曼滤波。这个循环迭代的卡尔曼滤波将会使误差接近基于优化的方法。
  • 基于平滑的方法：使用未来的测量结果修正当前的测量结果（更多用到回环检测修正轨迹吧）