Visual SLAM概述

SLAM是Simultaneous Localization and Mapping的缩写，字面意思是“同时定位与地图建模”，SLAM算法广泛应用在自动驾驶，机器人，增强现实中，也是计算机视觉研究的重要领域之一。有了SLAM算法，自动驾驶的车辆可以实时创建地图并且同时在地图上定位，扫地机器人知道如何避障以及记住扫过的区域，无人机可以在一个未知的环境中送快递。SLAM可以分为Visual SLAM(可视化SLAM),Lidar SLAM（激光雷达SLAM)，Multi-Sensor SLAM（多传感器SLAM).其中Lidar SLAM因为要配备昂贵的激光雷达，并且扫描的精度确实不高限制了它广泛使用。Visual SLAM因为只需要廉价的相机得到了广泛的研究和使用。Multi-Sensor SLAM则需要配备诸如相机，IMU（惯性测量单元），GPS，雷达等多个传感器，具有在不同光照条件和气候条件有稳定输出的良好性能，但其实质只是Visual SLAM和位置传感器的信息融合处理。这里主要讲解Visual SLAM.
Visual SLAM大致可以粗略地分为两类：Sparse SLAM(稀疏SLAM)和Dense SLAM（稠密SLAM).Sparse SLAM使用图片中的特征点进行计算，代表算法为PTAM,ORB-SLAM,Dense SLAM主要通过图片的整体亮度信息进行计算，代表算法包括DTAM，LSD-SLAM，DSO，SVO.这里主要讲解Sparse Visual SLAM.

如图Sparse Visual SLAM可以分为三个核心模块：
1.Feature Extration & Visual Odometry(特征提取与视觉里程)
2.Local Mapping & Optimization(局部地图生成与优化)
3.Loop Closure & Global Optimization(回环检测与全局优化)
下面逐一介绍。

一.Feature Extration & Visual Odometry(特征提取与视觉里程)。

先讲特征提取，特征提取是指找出来图片上的视觉特征点（边，角，梯度...),下图为图片上找到的特征点和Lidar的点阵云。

特征提取的要点主要包括：
Corner Detectors: FAST (Features from Accelerated Segment Test), Harris corner detector.
Blob Detectors: SIFT (Scale-Invariant Feature Transform), SURF (Speeded-Up Robust Features).
Edge Detectors: Canny edge detector.
Feature Descriptors: ORB (Oriented FAST and Rotated BRIEF), BRIEF (Binary Robust Independent Elementary Features), BRISK (Binary Robust Invariant Scalable Keypoints).
下面讲视觉里程。

视觉里程用于计算相机和特征点的相对于上一帧位置变化情况。
Feature Matching: 特征点的匹配和跟踪。
Outlier Rejection:去掉错误匹配的特征点，通常使用RANSAC算法。
Optical Flow Estimation：计算出每个特征点按照时间的位移量。
Depth Estimation： 知道图片的景深信息通常是很有用的，相较与使用单个相机，使用stereo相机可以更容易地得到景深信息。
下图为经过视觉里程计算得到的信息。

二.Local Optimization & Mapping(局部地图生成与优化).

Local Mapping是Visual SLAM算法的核心。Visual Features是在图片上二维的顶点，需要通过计算把二维顶点投射到三维空间中。如下图所示。

如果我们每一帧都把二维特征点投影到三维场景中，就会有累计误差，这就涉及到局部优化的问题，通过使用ICP（itertive closest point)进行优化。

三.Loop Closure & Global Optimization(回环检测与全局优化).

回环检测主要指当相机在地图中逛了一段时间之后，又回来曾经访问过的地点，地图上的特征点将会出现某种程度上的重合，这就需要回环修正。

全局优化把所有的局部地图聚合在一起，进行全局优化，全局优化通常使用Bundle Adjustment.
讲完了Visual SLAM的大致流程，下面看看ORB-SLAM的主要模块。