【读书笔记】《计算机双目立体视觉》01 概述 

title:　　【读书笔记】《计算机双目立体视觉》01
date:　　  2023-05-05 15:08:22
tags:　　  读书笔记 《计算机双目立体视觉》（高宏伟）

 第一章 计算机视觉研究概述

 1.1 主动测距技术

　　主动测距方法 的核心思想是利用特定的、人为控制的光源和声源等对景物目标进行照射，根据物体表面的反射特性及光学、声学特性来获取目标的三维信息。

　　其特点是具有：1）较高的测距精度、2）抗干扰能力、3）实时性。

　　代表性方法：1）结构光法、2）飞行时间法（ToF）、3）三角测距法。

1. 结构光法（光条法）

　　结构光法是一种既利用图像又利用可控辐射源的测距方法，其基本思想是利用照明中的几何信息帮助提取景物中的几何信息。

　　根据投影光束的不同，可分为：1）光点式、2）光条式、3）光面式等。

　　结构光的形式不只有光点和条纹，还有网格结构、圆形光条、交叉线、彩色编码条纹等；精确的还有利用干涉条纹性质的莫尔干涉条纹法、全息激光干涉法即光衍射效应的测距方法。

　　优点：1）计算简单、2）测量精度高、3）适用于无纹理区域。

　　缺点：1）对设备和外界光线要求较高，2）造价昂贵，3）易受环境光源影响（多用于室内）。

　

2. 飞行时间法（ToF）

　　基本思想：光和声波在空气中传播速度是一定的，这样由测距器主动发出脉冲，到达物体表面再反射回来，计算脉冲在测距起与物体表面之间的飞行时间就能得到相应的距离。

　　飞行时间法可分为：

    • 脉冲激光测距
        • 超声测距
        • 激光测距
    • 连续激光测距
        • 相位激光测距
        • 调频激光测距

　　优点：1）不受物体表面特性影响，2）可快速获取景物表面完整的三维信息，3）精度高

　　缺点：1）需要叫复杂的光点设备，造价昂贵，2）测量精度受设备灵敏度限制。

3. 三角测距法

　　三角测距法又称为主动三角形法，是基于光学三角原理，利用光源、物体和测量器三者之间的几何成像关系来确定空间物体各点的三维坐标的。

　　优点：1）测量速度较快，2）准确度高，测量精度可达1μm，3）应用广泛，包括工业、测绘、航空、航天、军事等领域。

　　缺点：1）易被物体表面特性和表面倾角影响测量精度，甚至出现测量失效的情况。

 

1.2 被动测距技术

    • 单目视觉
    • 双目视觉
    • 多（三）目视觉

1.2.1 单目视觉

　　单目视觉是指利用一台相机拍摄一张相片来进行测量。

　　优点：1）结构简单，仅利用一台相机，2）相机标定容易，3）避免了小视场问题和匹配困难问题。

　　可分为：1）聚焦法，2）离焦法

1.2.2 双目视觉

　　核心思想：三角测量原理

　　双目立体系统可分为六大部分：

　　

1.数字图像采集

　　图像的采集是图像处理的前提和立体匹配的物质基础。数字图像采集中常用的硬件设备有扫描仪、数码相机、工业CCD相机和视频采集卡。进行视频采集时，不但要满足双目立体视觉系统的应用要求，而且要考虑视点差异、光照条件、相机性能及景物特点等因素的影响。立体图形是对同一景物从不同视点捕获的多幅图像，其获取的方式很多，主要取决于应用的场合和目的。对于双目立体视觉系统来说，有许多的方法可以用来采集立体图像，而且获取这些图像的视点既可以在一条直线上，也可以在一个平面上。

2.相机标定

　　立体匹配的基本任务之一是从相机获取的图像信息触发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与图像中对应之点之间相互关系是由相机成像几何模型决定的，这些几何模型参数就是相机参数。在大多数条件下，这些参数必须通过实验才能得到，这个过程称为相机标定。因此，相机标定的目的是确定相机的位置、属性参数和建立成像几何模型，以便确定空间坐标系中物体点与它在图像平面上像点之间的对应关系。相机标定需要确定相机内部的几何和光学特性（内部参数），以及相对一个世界坐标系的相机坐标系三维位置和方向（外部参数）。不同的应用背景对相机标定技术提出了不同的要求。目前的相机标定技术大致可归结为三类，即传统的相机标定方法，相机自标定方法和主动视觉标定方法。传统的相机标定方法是指在一定的相机成像几何模型下，基于特定的实验条件，如形状、尺寸已知的标定参照物，经过对其图像进行处理，利用数字变换和计算方，计算相机成像几何模型的内部参数和外部参数。相机自标定方法不依赖于标定参照物，只利用相机运动过程中周围环境的图像与图像之间的对应关系来对相机进行标定。主动视觉标定方法适用于相机运动已知或运动可控制的场合，通常可以线性求解。相机标定计算的复杂度与相机成像几何模型的复杂度有关。相机标定是计算机视觉中的一个重要研究内容，相机成像的几何模型建立的有效与否，将直接关系到空间景物三维重建的精度。

　　立体标定是计算空间上两相机的几何关系的过程，是进行立体匹配的基础。立体标定的目的在于了解两相机之间的旋转矩阵R和平移向量T。给定空间中点P，与左右相机坐标系的关系：

 

 

 

　　点P在两个视图中的关系有：

 

 

　　由以上三个等式可以推导：

 

 

 

 

　　采用棋盘格作为标志物求解每个相机视图的旋转和平移参数，然后再将这些参数带入上述公式求解旋转和平移矩阵。对得到的多组R和T矩阵求中值去接近真实结果。下图是利用MATLAB标定工具箱的标定结果。

 

 

　　经过双目标定，系统采用的双目系统的R和T矩阵分别为：

  

 

 

　　左右相机的内参矩阵和畸变矩阵依次为k1,k2,d1,d2：

   

 

 

 

 

  

3.图像预处理与特征提取

　　由光学成像系统生成的二维图像，包含各种随机噪声和畸变，因此需要对原始图像进行预处理，从而改善图像质量。图像预处理的目的主要有两个：一是改善图像的视觉效果，提高图像的清晰度；二是使图像变得更有利于计算机的处理，便于各种特征的分析与提取。图像预处理技术包括图像对比度的增强、随机噪声的去除、边缘特征的加强、伪彩色处理等。

特征提取是为了得到匹配赖以进行的图像特征。目前，常用的匹配特征主要有点状特征、线状特征和区域特征等，如边缘点、角点等。一般来讲，大尺度特征包含较丰富的图像信息，在图像中的数目较少，易于得到快速的匹配，但其定位精度差，特征提取和描述困难:小尺度特征的数目较多，所含信息较少，在匹配时需要较强的约束准则和匹配策略，以减少误匹配和提高运算效率。

4.图像校正

　　为了更好地利用对极几何约束，使匹配搜索在两幅图像的同扫描线方向上进行，以简化计算，可以采用所谓的图像校正技术，即一个重投影的过程，利用它来保证对极线始终与图像扫描线平行，且对应匹配点的对极线共线。图像校正的步骤是：首先由基础矩阵求得投影矩阵，再由投影矩阵求得当前相机的光学中心，即可建立一个与光学中心连线平行的平面作为重投影平面，最后将像平面上的所有像点都重新投影到重投影平面上。进行对极几何估计并对图像对进行校准之后，就可以在对极线上进行搜索，以确定最佳匹配点。这时对应点的坐标只在x轴方向上有差别，其差值称为视差。它是由于相机位置不同使同一点在图像中的投影点的位置不同而引起的，并且点的深度值与其视差成反比。对极几何的引入，不仅大幅度降低了匹配的计算量，而且还为图像间的稠密匹配提供了可能。

 

图2.4 对极几何与校正

 

　　当相机的像校正平面是完全行对准时，计算视差是最方便的。但在实际中，准确共面和行对准的成像平面并不存在，因此需要对左右图分别进行重投影，使其在数学上落在同一平面上，完成这一操作的过程称为立体校正。立体矫正使左右相机的像平面各旋转一个角度，最终像平面共面。经典的校正算法有Hartley算法和Bouguet算法。图2.5是立体校正的结果，图a为左右相机采集的原始图像，图b为经过立体校正之后的左右图像，在b图中左右图像中对应的所有棋盘格角点处于像素平面的同一行。

 

  1. 原始左右视图

 

  1. 立体校正结果

图2.5 立体校正结果

5.双目立体匹配原理

　　标准的双目立体视觉系统中，在经过了相机标定、极线校正后，左右两个相机的光轴互相平行，对应的坐标轴只在水平方向上存在偏移，使得同一物点对应的左右图像中的像点位于同一水平线上。

　　接下来，我们为双目相机系统引入视差的概念，如图 2.6所示：

 

图2.6 双目立体系统结构图

 

P是空间中的一个点，Ol和Or是左右相机的光心，pl和pr是P点在左右相机的成像平面Πl和Πr上的像点，xl和xr是pl和pr的x坐标，ol和or是左右相机的光轴和成像平面的交点，A是P作垂线与 OlOr 的交点，f 是相机焦距，b是基线，z是P点的深度。

根据相似三角形∆olplOl和∆AOlP，并假设成像平面的宽为W，可得：

 

 

同理，对于相似三角形∆orprOr和∆AOrP，可得：

 

 

同时，由于OlA + OrA = b，可得：

 

 

令xl − xr为视差 d，得到视差d与深度z的关系：

 

 

　　根据视差值d，以及基线b和焦距f，就能够反推每个像点在空间中的三维坐标。

6.三维重建

　　三维重建的目的是由二维景物图像重构出景物的空间构型。已知相机成像的几何模型和匹配关系后进行三维重建，尤其是欧式空间下的三维重建相对比较容易些。 在计算出若干个空间点的坐标以后，便可以采用计算机三维显示技术进行重建物体的显示。影响重建精度的因素主要有数字量化效应、相机标定误差、特征检测与匹配定位精度等。因此，要想设计出一个精确的计算机双目立体视觉系统，必须综合考虑各方面的因素，保证各个环节都具有较高的精度。以上六个部分构成了计算机双目立体视觉系统的完整体系,其中双目匹配是最重要也是最困难的部分。其存在的主要问题有:对有特殊结构的景物，如果存在平坦区域、缺乏纹理细节、存在周期性的重复特征等，很容易产生错误的匹配:对方向平行于核线的特征匹配易出现歧义:当相机基线距离增大时，遮挡严重，能重建的空间点减少。为了解决这些问题，降低双目匹配的难度，20世纪80年代后期以来出现了三目视觉和多目视觉系统，即采用多个相机同时摄取空间景物，利用第三目(或多目)图像提供的信息来消除匹配的歧义性。

 

 

1.2.3 三（多）目视觉

　　在双目视觉中，对于给定的物体距离，视差与基线长度成正比，基线越长，对距离的计算越精确。但是基线过长时，需要在相对较大的视差范围内进行搜索，从而增加了计算量。利用多基线立体匹配时消除误匹配、提高视差测量准确性的有效方法之一。

　　优点：可以利用多个相机所提供的额外的极线约束来解决局部双目匹配存在的，由多个候选匹配点的不确定性而引起的误匹配问题。

 

posted @ 2023-05-05 16:10  仓颉ZL  阅读(303)  评论(0)    收藏  举报