ACSC-非重复扫描固态激光雷达和相机系统的自动校准

ACSC-非重复扫描固态激光雷达和相机系统的自动校准

ACSC: Automatic Calibration for Non-repetitive Scanning Solid-State LiDAR and Camera Systems

摘要——近年来，固态激光雷达（SSL）的快速发展使人们能够低成本、高效地从环境中获取三维点云，这激发了大量的研究和应用。然而，其扫描模式的不均匀性和测距误差分布的不一致性给其校准任务带来了挑战。在本文中，提出了一种用于非重复扫描SSL和相机系统的全自动校准方法。首先，提出了一种基于时空的几何特征细化方法，从SSL点云中提取有效特征；然后，利用点的反射率分布来估计校准目标（印刷棋盘）的3D角。在此基础上，提出了一种基于目标的外部标定方法。在实际条件下对不同类型的激光雷达和相机传感器组合进行了评估，并获得了准确度和稳健性的校准结果。代码位于https://github.com/HViktorTsoi/ACSC.git.

I.简介

多传感器融合一直是机器人和自动驾驶系统的关键，可以准确感知周围环境。在不同类型的融合中，最常见的是激光雷达（Light Detection And Ranging）和光学相机的结合，尤其是在基于视觉的里程计和地图、物体检测和跟踪任务中。在融合来自激光雷达相机系统的多模式数据时，第一步也是最关键的一步是准确的外部校准。一般的校准过程是检测多个对应的3D-2D角点，然后利用PnP（Perspective NPoint）方法求解激光雷达与相机之间的相对姿态。因此，必须通过点云和图像的几何和纹理约束来准确地找到相应的特征。

在过去的两年里，固态激光雷达（SSL）系统由于其低廉的价格、汽车级的设计以及与高清激光雷达相似的测距性能，已开始被不同的智能无人平台广泛采用。然而，SSL的特性给传感器的部署带来了新的挑战，尤其是对传感器的校准过程：由于该激光雷达模型采用了非重复扫描模式，因此点的空间分布不均匀；其测距测量对目标的纹理和颜色敏感；并且由于其低成本的测量单元，其测距误差也不均匀分布。这些缺点严重影响了点云中相应特征的提取，从而降低了自动校准的性能。以前很少有关于SSL相机系统自动校准的研究。

 

图1：（a）顶部：使用ACSC求解的外部参数将积分点云重新投影到图像；（b） 底部：使用的校准目标是一个印刷的棋盘；位置显示在左边；右侧描述了传感器设置及其坐标系。

为了解决上述问题，本文提出了一种用于SSL相机系统的外部自动校准方法ACSC。首先设计了一个时域积分和点云特征细化管道，以提取尽可能多的非竞争性扫描点云的有效信息，并提出了一种利用校准目标的反射强度分布的三维角点提取方法。基于（来自光学图像的）3D角和相应的2D角，提出了一种基于目标的校准方法。还在不同类型的SSL中评估了所提出的方法，例如Livox Mid-100/40和Horizon SSL，以及相机组合。

主要贡献总结如下：

•提出了一种用于SSL和相机系统的基于目标的自动校准方法；

•提出了一种基于时间-空间的几何特征细化和基于反射强度分布的非重复扫描SSL点云三维角点估计流水线；

•为了评估校准性能，部署了基于激光雷达与相机的各种组合的多个真实世界实验，所提出的方法可以成功求解各种类型激光雷达相机系统的外部参数。

二、相关工作

大多数外部校准方法都是基于参考目标的，通常的想法是设计能够在所有传感器FOV中清晰检测到的校准目标或相应特征。平面板是单目/立体相机的内在和外在校准最常用的校准目标。Fremont等人设计了一个基于黑色圆圈的平面板，然后搜索圆心的三维坐标和平面的法向矢量，以进行相机和激光雷达之间的外部校准。周等人提出了一种单次标定方法，通过从激光雷达点和图像中提取线特征。

王等人提出了一种基于激光反射强度与校准目标颜色之间相关性的三维角点估计算法。

基于无目标的方法试图从场景中找到自然模式（主要是直线或正交模式），并根据几何约束对其进行公式化，然后解决外部模式。基本上，它们可以分为基于静态和基于运动的方法。前者类似于基于目标的配准，用静态目标寻找参考特征。Scaramuzza等人提出了一种外部校准技术，该技术需要手动将图像上的2D点与点云上的3D点相关联。从环境中检测到的三面体特征，如街道上的墙壁和角落，用于校准，然而，该方法依赖于高成本的Velodyne64E来找到三面体图案。

提出了一种无目标校准方法，通过最大化从图像或点云中获得的传感器测量表面强度之间的互信息（MI）来求解外部参数。相比之下，基于运动的方法使用同步定位和映射（SLAM）技术，通过最小化轨迹到轨迹的匹配误差，基于固定传感器之间的运动估计来计算外部。

上述方法在机械激光雷达和相机系统上取得了良好的结果，但将其推广到SSL是一项挑战，因为SSL的点云测量具有与机械模型显著不同的特征分布。Scaramuzza等人提出了一种基于几何模型的SSL内在校正方法。刘等人提出了一种利用基于LOAM的轨迹匹配进行多SSL校准的方法。

强度值与被测目标的表面纹理和颜色有关；因此，它可以提供与光学图像一样丰富的语义信息，特别是对于时域叠加后非重复扫描SSL产生的密集点云。在本文中，通过利用时间积分和特征细化，所提出的校准方法可以充分利用SSL的非重复模式，并获得准确的校准结果。

 

图2. 来自非重复扫描SSL的集成（无特征细化）棋盘式点云（左：前视图；右：侧视图）。

III、 方法

对于SSL相机系统，外部校准的问题是估计两个传感器之间的相对旋转和平移，即任务是基于分别从两个不同传感器的同一帧中提取的对应3D-2D角来求解外部参数矩阵（E∈SE3）。

所提出的方法使用印刷棋盘作为校准目标，棋盘上内角的尺寸为

 ，内网格尺寸为

 。

然而，主要的挑战是如何从不稳定分布的点云中准确地提取角点。本文对具有代表性的Livox系列激光雷达进行了研究，图2显示了在对校准目标进行扫描时获得的几种典型模式：1）非重复扫描模式导致单帧测量稀疏。

 

图3. 建议的校准方法。（a） 基于SSL的点云特征细化和棋盘式内角估计过程。输入

 是SSL的传入帧，

 表示根据使用的校准目标的几何参数构建的标准模型，

 是根据

 生成的角点，L是用于优化3D角点位置的相似性测量函数；（b） 从图像中进行2D角估计；（c） 外部校准过程。

尽管点云可以通过多帧叠加来加密，但也保留了异常值（图2（a）-（f））。2） 距离测量在轴向（光束方向）上有很大的变化。距离越近，抖动越严重（图2中的侧视图）。3） 特殊的扫描图案也导致扫描线的不均匀分布（图2（d）、（e）和（f））。

所提出的校准方法考虑了上述特征，从而可以准确地从SSL和相机中提取相应的特征。整个工作流程如图3所示。

A.校准目标特征细化

1） 点云的时域积分：利用非重复扫描模式，在时域中对连续扫描进行积分，以加密点云，而不是直接使用单次扫描图。第2（a）段。通过这种方式，可以获得密集的棋盘测量，其强度特征提供与图像一样多的语义信息。然而，如果简单地堆叠入射点云，来自每一帧的噪声点也会被累积，最终导致模糊结果（如图2所示）；因此，首先对每一个输入帧使用统计异常值去除，基于点的邻居密度分布，对时域中的无噪声点进行积分，具体过程如算法1所示。

积分后，点的表面法线比单次扫描的表面法线分布更连续，因此，首先部署基于法线差的分割来提取可能包含棋盘的候选聚类。然后，通过标准目标相似性测量L（如第III-B节所示）对聚类进行排序，以测量聚类与校准目标之间的差异，并且仅保留具有最小差异的聚类，作为定位棋盘测量（标记为Pc）。

2） 特征细化：为了获得无噪声、准确的棋盘测量，设计了一系列点云特征增强方法，整个过程如图4所示。

 

图4. 从背景点分割的棋盘

 的原始点云到无噪声测量

 的特征细化过程。

 

图5. 角点估计示意图。首先使用反射率分布来求解从精细棋盘测量

 到标准模型

 的转换，然后用于将

 的角反向转换为原始棋盘。

考虑到井口/接地点在从背景分割后可能连接到棋盘

 ，首先去除这些点。假设传感器和棋盘的位置如图1所示。只需要确定棋盘点在Z轴方向上的上下边界。

对于上边界，选择最高点的Z坐标

 ，下边界是基于棋盘点沿Z轴的宽度分布H和棋盘尺寸约束计算的：

 算法1：SSL传入点云帧的时域积分过程。

Input :

T frames of point cloud

Q = {Q1, Q2, ..., QT };

Threshold of neighbor size K;

Scaling factor scalestd;

Output:

Stacked point cloud P ;

Initialize P = ∅;

repeat

for frame Qt, build KD-Tree;

 for each point qi ∈ Qt do

 search the K nearest points of qi

;

 calculate the average distance (disKi) of

the K neighbours;

 end

 calculate the mean distance meanK and

standard deviation stdK of

[disK0, disK1, ..., disKN ];

 thresh = meanK + scalestd × stdK;

 for each point qi ∈ Qt do

 if disKi < thresh then

 Remove qi from Qt;

 end

 P = P + {Qt};

 until

All T frames of point clouds in Q are consumed;

算法1：SSL传入点云帧的时域积分过程。其中w是棋盘大小约束的比率。不在此范围内的所有其他点（Zdown、Ztop）都将被删除。为了简单起见，剩余的棋盘点云也标记为Pc。

如图6所示，2，由于SSL测量的系统误差，点云沿轴向分散，而在理想情况下，所有点都应该落在棋盘平面上，因此很难估计准确的角坐标。因此，设计了一种迭代细化方法，将点云拟合到棋盘所在的理想平面。在每次迭代过程中，首先使用基于RANSAC的方法来拟合最优平面。点云

 在距离平面σ的范围内保留c：

 其中

然后，为了减少非重复扫描模式引起的不均匀性的影响（如图2（d）和（f）所示），划分统一点

 分为多个网格，然后对每个网格采取随机采样，以保持点云密度不大于

 。通过将下采样的网格组合在一起，可以得到密度均匀的棋盘格点云。该操作可以减少后期角点拟合过程中高密度区域对罚函数的影响，并带来更好的整体角点检测结果。

B.三维角估计

引入了一种受棋盘测量全局反射率分布约束的非线性优化方法来估计角点，示意图如图5所示。给定棋盘的几何参数

 ，具有反射率信息的标准棋盘模型

 可以构造为等式5：

 这里，

 是一个二进制函数，表示棋盘在（x，y，z）处的图案。考虑到激光雷达对棋盘点云

 的测量值在物理上与

 大小相同，无需缩放，棋盘测量和标准模型可以通过刚体变换对齐，三维内角坐标也可以通过逆变换求解，因为从几何参数中已经知道标准模型的角。因此，将三维角点估计转化为一个非线性优化问题：求解使变换后的棋盘点云的测量值最接近理想标准模型的变换参数{R，t}。

关键步骤是设计相似性函数，该函数可以准确地评估测量值

 和标准模型

 之间的姿态差。

如图6所示，棋盘测量

 和物理棋盘上的黑白图案的反射率基本上显示出相同的空间分布，因此，将相似性公式化为反射率分布差，定义为等式6：

 这里，

 是棋盘格点的变换几何坐标：

 

 是相应的反射强度值，

 和

 是标准模型的相同表示；

 是棋盘上的点数；

 是用于判断点

 是否落在标准棋盘的边界矩形内的判别函数，

 是

 的隐秘角，如等式8所定义：

 因此，R，t的最优解可以通过非线性优化来求解，L-BGFS方法被用于优化该问题。结合由棋盘的几何参数直接生成的角

 ，可以通过逆变换获得点云的最终估计角坐标C3D（等式9）：

 

 图6. 棋盘格点云在不同距离下的反射率分布。黑色条和白色条分别表示棋盘中相应颜色网格的反射率。

 

图7.（a）校准结果的可视化。基于求解的外部参数矩阵将点云投影到图像平面上；（b） 室外环境中图像上投影的点云（边缘增强）；（c） 通过使用校准结果从图像中投影像素来着色的点云。

 

图8. 用于评估不同SSL模型的外部校准性能的归一化重投影误差。

C.外部校准

从图像中进行2D角点检测。棋盘角检测算法用于从图像中检测角点

 ，该角点对应于来自SSL的集成点云帧。注意，由于棋盘沿对角线方向的对称性，在图像和点云中检测到的角点的顺序可能不明确。对检测到的角点进行重新排序，并从左下角对其进行索引。

迭代外部参数求解。考虑到棋盘测量的样本有限，对于获得的3D-2D角点，首先采用基于RANSCA的PnP来获得初始非本征解

 ；然后，丢弃具有高重投影误差（基于

 计算）的角点，并重复进行PnP求解和重投影评估过程，直到所有误差都低于

 。则最终的本征矩阵表示为E。

IV、 实验和结果

A.校准设置

在实际标定过程中，要求SSL和摄像机处于固定的相对位置，并假设摄像机的固有特性是已知的。通过对放置在传感器视场内不同位置和方向的棋盘进行多次采样

采集图像和多帧点云，然后用于计算外部参数。

在多个具有代表性的SSL和相机模型上评估了所提出的方法，表1中描述了传感器的详细信息。

表1. 用于评估所提出的校准方法的传感器的详细模型和参数。

 

B.再投影可视化

为了可视化校准结果，将点云（从室内和室外环境中收集）投影到具有求解的外部参数矩阵的图像平面上，如图所示。第7（a）-（b）段，投影点的颜色根据相应的反射率生成。为了清晰起见，在图像上提取轮廓，以使投影结果中的匹配差异在图中更显著。第7（b）段。可以看出（尤其是从局部放大图中），投影点（具有不同的反射率）与原始图像精确匹配。

图7（c）显示了将2D图像像素投影回3D空间的示例（也称为点云着色），可以看出，投影的图像纹理也与3D点云精确匹配。

C.归一化重投影误差

在实际条件下，很难获得激光雷达和相机之间的外部参数的参考地面实况测量。一个折衷的解决方案是通过测量点云和图像中重新投影的棋盘角之间的误差来评估结果。首先基于相机固有K和估计的外部E，将棋盘C3D的估计三维角投影到二维空间。然后，将图像C2D的角作为伪地面实况来计算重投影误差。请注意，由于相机的透视投影，棋盘放置的距离可能会影响重投影点的比例（例如，在太远的位置，重投影误差小于实际值），因此，通过距离归一化重新缩放重投影，以减少这种偏差，如等式10所述：

 

 这里，

 是离重投影点p最近的图像像素，d（p）是p离激光雷达中心的距离。图8说明了不同激光雷达模型的归一化重投影误差，可以看出，大多数重投影误差在0.6像素以内，这证明了所提出方法的准确性。对于图8（c），Mid-40的重投影误差略高于其他两种类型，这是因为它具有较小的传感器FOV（约40度），因此可以采样的目标位置较少，导致在解决PnP问题时缺乏约束。结果，外部参数的计算精度降低。

表2. 校准方法的定量评估。AVG表示平均归一化重投影误差（像素）；NRE<pe表示重投影误差小于pe像素的角的百分比。

 

表2显示了所提出的方法的定量评估结果以及之前对SSL相机校准任务的研究。请注意，由于机械激光雷达（如Velodyne HDL64）严重依赖于基于环形的扫描模式，以往研究的大多数实现都未能从SSL点云中检测到校准目标，因此拒绝计算外部参数；只有将积分点重新采样到128通道类激光雷达模式后，它们才能生成可行的解。由于考虑到SSL的特性，所提出的方法比其他方法在很大程度上执行更准确的校准结果，特别是在pe<0.5和pe<1的情况下。

 

图9. 不同目标位置和综合帧数对校准性能的影响。

还研究了影响重投影误差的影响因素。如图6所示，如图9（a）所示，所提出的方法通过添加具有不同距离和姿态的目标放置的样本来实现更好的性能，并且误差可以在5~6个姿态的最小样本下保持稳定。图9（b）表明，增加积分时间也可以提高校准性能，验证了时域积分的效果。

D.3D拐角估计的评估

所提出的方法的性能与估计的棋盘角高度相关。因此，进一步讨论了角点估计的性能。图10说明了角点估计过程中成本函数L和重投影误差的分布。每个子图中的X和Y轴给出了优化变量的部分维度（即

 和标准棋盘模型

 之间的转换），左列是相似性函数L的分布，右列是重投影误差的分布。可以看出，在优化变量旋转的空间中，L的最小值和重投影误差对应于相似区域，这意味着，只要找到一组三维角点的最优解，就可以相应地求解最优外部参数。

 

图10. 成本函数L和重投影误差随优化变量增量的分布，即校准目标测量和标准校准板模型之间的刚体变换参数。

这可以从一个方面证明该方法的合理性。图11是分别从点云和图像中检测到的棋盘角的可视化结果，它还显示了从2D和3D空间中估计的角的一致性。更详细的实验可以在项目网站上找到（摘要中的链接）。

 

图11：校准目标的估计角的可视化。左边是来自SSL的点的重投影，红色点是检测到的3D角的重投影；直接从图像中检测右侧的2D角。

V.结论

本文提出了一种新的SSL相机系统的外部校准方法。利用所提出的时域积分和特征细化流水线，可以提取模糊激光雷达测量的有效信息；基于标定目标点云的反射率分布，提出了一种基于棋盘格测量的三维角点估计方法，并结合从图像中提取的二维角点，用该标定方法求解了外部参数。整个工作流程完全自动化，只需要用户多次更改棋盘的位置。大量的实验表明，方法可以在真实世界的条件下进行精确的校准。未来的工作包括对校准过程进行更系统的分析，并将该方法扩展到动态场景中。

 

参考文献链接

ACSC: Automatic Calibration for Non-repetitive Scanning Solid-State LiDAR and Camera Systems

https://arxiv.org/pdf/2011.08516.pdf