【SLAM】6.SLAM十四讲——相机与图像

前言

 

一.相机模型

1.1 SLAM的本质

定位与建图，那么，输入信息是什么？输出信息是什么？

输入是传感器对运动的里程测量、周围环境的探知，输出是当前位置和周围环境地图。

1.2 运动方程

1.3 观测方程

 

二.相机坐标系——单目小孔成像

2.1 小孔成像模型

 

2.2 像素系与成像平面的关系——内参矩阵

推导见教程

 针孔相机小孔成像模型

2.3 畸变问题

不必记公式，在归一化坐标乘以内参矩阵之前进行畸变矫正，然后再乘以内参矩阵得到图像坐标

 （1）透镜畸变、径向畸变

包括桶形畸变、枕形畸变

修正方式：作极坐标修正

（2）成像平面、切向畸变

由于镜头与感光板不平行，造成梯形畸变

修正方式：作切向修正

 

三.相机坐标系——双目针孔模型

3.1 双目针孔模型

推导见教程

3.2 双目遇到的挑战

（1）左右视图的特征匹配

（2）计算量大，每个像素都要计算深度信息

 

四.RGB-D

4.1 种类

结构光、TOF

4.2 优缺点

优点：计算量小，点云三维重建很友好

缺点：

（1）易受日光影响

（2）不同相机间可能会干扰

（3）没办法检测透射物体

（4）有源传感器，能耗高

 

五.相机标定

对于观测方程Z=h(x,y)而言，

要使用观测到的图像特征推测物理世界中的物体坐标，涉及到内参矩阵K和外参矩阵T，

外参为待估计量，内参为相机的固有变量，

将内参提前估计好才能准确地估计外参，

SLAM要解决的就是在已知内参和其他信息的情况下，准确地估计x和y。

5.1 常用标定工具

一般标定精度要到0.5pixel

（1）Matlab

（2）OpenCV

（3）Kalibr(ROS)，支持多种相机模型，如多相机、VIO、多IMU内参标定、针孔相机、鱼眼相机

5.2 常用相机

Realsense

ZED双目

Kinect结构光

工业相机