他们引入了两种新方法来改进多相机特征跟踪。首先,我们不是在每个相机中单独跟踪特征,而是在特征从一个相机移动到另一个相机时连续跟踪特征。这提高了精度并实现了更紧凑的因子图表示。其次,我们选择相机中跟踪特征的固定预算,以减少后端优化时间。我们发现,使用一组较小的信息特征可以保持相同的跟踪精度。我们提出的方法使用硬件同步设备进行了广泛测试,该设备由一个IMU和四个摄像头(一对前置立体声和两个侧向摄像头)组成,场景包括:地下矿井、大型开放空间和带有狭窄楼梯和走廊的建筑内部。与仅双目的最先进视觉惯性里程计方法相比,我们的方法在平移和旋转时将漂移率和相对位姿误差分别降低了80%和39%。
论文地址:https://arxiv.org/abs/2109.05975
项目主页:https://ori-drs.github.io/newer-college-dataset/multi-cam/
The sensor used for our experiments is the Alphasense
multi-camera development kit from Sevensense Robotics AG,
shown in Fig. 2. An onboard FPGA synchronizes the IMU
and four grayscalefisheye cameras– a frontal stereo pair with
an 11 cm baseline and two lateral cameras. Each camera has a
FoV of 126° × 92.4° and a resolution of 720 × 540 px. This
configuration produced an overlapping FoV between the front
and side cameras of about 36°. The cameras and the embedded
cellphone-grade IMU were operated at 30 Hz and 200 Hz,
respectively. Camera-IMU extrinsic and intrinsic calibration
was conducted offline using the Kalibr [27] toolbox. The Ouster
OS0-128 lidar shown in thefigure was used only for ground
truth generation and all sensors were hardware synchronized
with an Intel NUC via Precision Time Protocol (PTP).
我们实验中使用的传感器是Sevensense Robotics AG的Alphasense多摄像机开发套件,如图2所示。板载FPGA同步IMU和四个灰度显示摄像机——一个具有11厘米基线和两个侧面摄像机的正面立体对。每个摄像机的视场为126°×92.4°,分辨率为720×540像素。这种配置在前后摄像机之间产生了约36°的重叠视场。摄像机和嵌入式手机级IMU分别在30Hz和200Hz下运行。使用Kalibr[27]工具箱离线进行相机IMU外部和内部校准。
图中所示的OS0-128激光雷达仅用于地面实况生成,所有传感器通过精确时间协议(PTP)与Intel NUC硬件同步。
https://www.sevensense.ai/product/alphasense-position