用于运动目标检测与跟踪的多传感器融合与分类

用于运动目标检测与跟踪的多传感器融合与分类

https://hal.science/hal-01241846/document

摘要——运动物体的准确检测和分类是高级驾驶辅助系统（ADAS）的一个关键方面。相信，通过将来自多个传感器检测的物体分类作为物体表示和感知过程的关键组成部分，可以改进环境的感知模型。首先，定义了一个复合对象表示，以在核心对象的描述中包括类信息。其次，提出了一种基于证据框架的完整感知融合架构，通过集成复合表示和不确定性管理来解决运动物体的检测和跟踪（DATMO）问题。最后，将融合方法集成到interactVe-IP欧洲项目的车辆演示器内的实时应用程序中，该项目包括三个主要项目。

传感器：雷达、激光雷达和相机。使用来自不同驾驶场景的真实数据来测试融合方法。

引言

智能车辆已经从明天的机器人应用发展到目前广泛研发的领域。智能汽车系统最显著的特点是它必须在越来越非结构化的环境中运行，这些环境本身就是不确定和动态的。ADAS帮助驾驶员执行复杂的驾驶任务，以避免出现危险情况。协助任务包括：危险驾驶情况下的警告信息（例如，可能的碰撞），激活安全装置以缓解即将发生的碰撞，自动操作以避开障碍物，以及无需注意的驾驶员警告。

感知环境包括选择不同的传感器以获得环境的详细描述和感兴趣对象的准确识别。车辆感知由两个主要任务组成：同时定位和映射（SLAM），它生成环境地图，同时在给定传感器的所有测量值的情况下在地图内定位车辆；以及DATMO，其检测和跟踪车辆周围的运动物体并估计它们的未来行为。图1显示了感知任务的主要组成部分。

 

图1. 感知任务的通用架构及其两个主要组件：SLAM和DATMO。Perception提供了一个环境模型，通常由车辆位置、静态对象地图和移动对象列表组成。

对不完整信息的管理是感知系统的一个重要要求。不完整的信息可能源于传感器相关的原因，如校准问题、硬件故障、不确定的检测和异步扫描；或者来自场景扰动，如遮挡、天气问题和对象移动。跟踪过程假设其输入与移动对象唯一对应，然后关注数据关联和跟踪问题。然而，在大多数真实的户外场景中，这些输入包括非移动检测，例如噪声检测或静态物体。正确检测运动物体是运动物体跟踪系统的一个关键方面。通常，许多传感器是这样的系统的一部分。

了解电动汽车周围的物体类别可以更好地了解驾驶情况。分类被视为DATMO任务中的一个单独任务，或者被视为最终感知输出的聚合信息。分类可以通过包括来自环境的不同传感器视图的信息来帮助丰富检测阶段，例如激光雷达提供的撞击点和相机提供的图像补丁。关于对象类别的证据可以提供辨别、确认和质疑数据关联的提示。此外，了解运动对象的类别有利于运动模型的学习和跟踪。

相信，在早期阶段从不同传感器收集的有关感兴趣对象的分类信息可以通过减少误报检测和错误分类来改进它们的检测和跟踪。

关于现有技术的方法，假设SLAM阶段是一个已解决的任务，并专注于运动对象的检测、分类和跟踪。准确地说，将对象类作为证据融合方法的关键组成部分，该方法包括传感器检测的不确定性管理。目标是改进感知任务的结果，即由感兴趣的运动对象的动态状态和外观信息表示的感兴趣的移动对象的更可靠的列表。因此，解决了传感器数据关联、用于目标检测的传感器融合和跟踪的问题。假设，更丰富的跟踪对象列表可以改进ADAS的未来阶段，并增强最终应用程序。

本文的其余部分组织如下：回顾相关工作，框架背后的概念，车辆演示器真实车辆应用程序的软件架构。从不同传感器中提取分类信息的策略，在检测级别的融合方法，以及对运动物体的跟踪，实验结。

相关工作

图2显示了感知系统内部的不同融合水平。在SLAM组件内进行低水平融合的同时，在DATMO组件内进行检测和轨道水平融合。在检测级别，在由各个传感器提供的运动物体检测的列表之间执行融合。在轨道级别，来自各个传感器模块的轨道列表被融合以产生轨道的最终列表。

 

图2. SLAM和DATMO组件相互作用中的融合水平。获得了令人鼓舞的SLAM结果，并促使专注于DATMO组件。使用几乎确定性的方法来执行跟踪中的关联，使用基于不同类别假设集上的质量分布的证据方法。

为了缩小各种相关工作的范围，将重点放在DATMO内部使用激光雷达、相机和雷达传感器的融合方法上。这一决定来自在第四节中描述的传感器设置。

轨道级的多传感器融合需要每个传感器的更新轨道列表。然后，融合过程必须得到一个轨道的组合列表。这个过程必须解决曲目列表之间的关联问题，并实现一种组合相关对象的机制。通过在这个级别上使用有效的融合策略，可以减少错误轨迹。通常，这一级别的特征是包括分类信息作为对最终输出的补充。

检测级别的融合侧重于收集和组合传感器检测的早期数据，以减少可能导致错误跟踪的错误检测数量。一些工作专注于主动和被动传感器的数据冗余，并遵循物理或学习约束来增加物体检测的确定性。

这些作品并不包括所有可用的动力学和外观信息。此外，在这个水平上，来自传感器测量的外观信息不如区分运动和静止物体的动力学数据重要。

当分类被视为感知解决方案中的一个独立模块时，它通常被实现为单个类别（例如，仅对行人进行分类）或基于单个传感器的分类过程。

这排除了来自多个传感器视图的有价值的判别数据，这些数据可以生成多类模块。

研究观点指出，当在早期感知水平上管理分类信息时，数据关联和跟踪任务的改进是一种直接的增强。

多传感器融合最常见的方法是基于概率方法。然而，基于证据框架的方法不仅为多传感器融合，而且为车辆感知的许多模块提供了一种替代方案。这些方法强调了不完整和不精确信息的重要性，这些信息在概率方法中通常不存在。

融合方法在检测级别的一个优点是，可以通过添加来自不同传感器源的知识来增强对对象的描述。例如，激光雷达数据可以很好地估计到物体的距离及其可见尺寸。

此外，通常从相机图像获得的分类信息可以允许对检测到的对象的类别进行假设。早期丰富对象的描述可以减少错误检测的数量，并将分类作为一个关键元素，而不仅仅是感知输出的附加元素。

证据框架

证据框架是主观概率贝叶斯框架的推广。证据理论（ET）允许根据现有证据对相关问题有一定的置信度。

ET在一组相互排斥的命题中表示世界，称为辨别框架(Ω).它使用置信函数将关于命题的证据分布在2上Ω.大众信仰的分布是由函数

 完成的，也称为基本信念分配（BBA）：

 Yager规则结合了两种证据来源，同时避免了当存在相当程度的冲突

 时出现的反直觉结果。在这个规则中，冲突值分布在辨别框架的所有元素之间，而不仅仅是具有组合质量交集的元素：

 车辆感知的证据理论

ET有能力表示不完整的证据、完全无知和不需要先验概率。可以将隐性知识编码在辨别框架结构的定义中。此外，贴现因素是整合证据来源（如传感器性能）可靠性的重要机制。此外，组合规则是整合不同证据体信息的有用工具。智能系统的后期阶段，如推理和决策，可以将证据分布集成到决策过程中。

当假设的数量很大时，ET在计算上变得不那么容易处理，因为置信度分布在所有假设的幂集上，2Ω.

然而，应用程序域可能允许进行假设以进行转换Ω转换为一组可能假设的简化版本。

车辆演示器

使用来自interactVee欧洲项目的CRF（菲亚特研究中心）演示器来获得不同驾驶场景的数据集。为了实现连续支持功能，Lancia Delta汽车（见图3）配备了处理单元、驾驶员交互组件和以下前向传感器：TRW TCAM+摄像头收集B&W图像，FOV为±21◦;TTRW AC100中程雷达提供有关移动目标的信息。它的探测范围高达150米，速度范围高达250公里/小时，FOV为±12◦

（近距离）或±8◦（中等范围），角度精度为0.5◦;IIBEO Lux激光扫描仪提供2D撞击点列表，其范围可达200米，角度和距离分辨率为0.125◦和4cm，FOV为110◦。

软件体系结构

在interactVee项目中的贡献发生在感知系统（PS），该系统旨在提高传感器数据融合的效率和质量，重点关注对象检测和分类。在PS中，开发了多种功能，用于持续的驾驶员支持，也用于执行主动干预以避免碰撞和减轻碰撞。

图4显示了提出的PS的示意图，以及检测和分类模块之间的相互作用。PS旨在检测、分类和跟踪可能出现在车辆前方的一组感兴趣的移动物体。

 

 图3. 左图：CRF车辆演示器的图像。右图：三个正面传感器的视场用作输入，为提出的融合方法收集数据集。

融合模块的输入是来自三个传感器的三个探测物体列表：激光雷达、雷达和相机。每个对象都由其位置、大小和类假设的证据分布来表示。

类别信息是从检测的形状、相对速度和视觉外观中获得的。激光雷达和雷达数据用于进行运动物体检测，并与图像数据合作提取物体分类。融合方法采用了三个复合对象描述列表，并将其传递给跟踪算法。融合方法的最终输出包括对象检测的融合列表，该列表将用于跟踪模块来估计运动对象状态并提供DATMO解决方案的最终输出。

 

图4. 多传感器感知系统示意图，也称为正面物体感知（FOP）-运动物体检测（MOC）模块。从激光雷达和雷达传感器中提取动力学和外观信息，仅从相机中提取外观信息。

运动物体检测

在这里，回顾了每个传感器的运动物体检测方法。后面描述了对象分类的过程。

激光雷达处理

认为激光雷达（LIght Detection And Ranging）扫描仪是配置中的主要传感器，因为它具有检测障碍物的高分辨率和高精度。此外，它还为感知解决方案的SLAM组件提供动力。激光雷达处理的主要目标是精确测量车辆前方移动障碍物的形状。

1） SLAM组件解决方案：虽然主要贡献集中在DATMO组件上，但解决SLAM组件是为了获得地图和车辆定位。根据提出的想法，使用激光雷达数据

 来填充二维贝叶斯占用网格图。映射M中的每个小区与指示该小区被障碍物占据或不被障碍物占用的概率的测量值相关联。

车辆的位置是通过最大似然法找到的。

它包括找到最佳的车辆轨迹估计

 ，根据形状模型

 ，先验模型

 和似然性模型

 。

然后，该方法使用姿态估计和最新的传感器测量来更新网格。

 基于激光雷达的检测：如前所述，专注于识别网格图M中空闲和占用单元之间的不一致性，同时逐步构建此类图。如果在先前设置为空闲的位置上检测到占用的测量值，则该测量值属于移动对象。如果在先前占用的位置上观察到自由测量，则它可能属于静态对象。

使用基于距离的聚类过程，可以识别可能属于移动物体的细胞云。该过程提供了关于可能移动物体的可见形状、其大小的估计以及到物体的距离的信息。图5显示了基于激光雷达的运动物体检测过程的演变示例。作为运动物体的一部分检测到的测量不用于更新SLAM中的地图。

 

图5. 通过处理原始激光雷达数据获得的占用网格表示。从左到右：参考图像；应用SLAM解决方案后的静态占用网格Mt−1；当前激光雷达扫描；移动物体的检测（绿色边界框）。

多传感器数据融合

应用背景介绍

多传感器融合是一项结合多传感器数据的综合性前沿内容，主要包括Camera、激光雷达、IMU、毫米波雷达等传感器的融合，在自动驾驶、移动机器人的感知和定位领域中占有非常重要的地位；随着AI技术的大规模落地，图森、百度、滴滴、Waymo、Momenta、华为、纵目科技、智加科技、赢彻科技、小鹏、蔚来、魔视智能等公司开始逐渐落地自己的L2~L4等级的辅助/自动驾驶产品，从自动泊车、车道保持、行人障碍物预警、定位、测距、跟踪等多个任务都离不开多传感器融合，前视相机、鱼眼相机、毫米波雷达、激光雷达、IMU等传感器一起工作，鲁棒性、准确度都高于单一传感器，因此被多种方案采用，相关技术更是受到重点关注；

 

 

 

摄像头图像

为了从相机图像中提取关于物体视觉外观的信息，必须能够使用视觉特征来表示这些物体。

视觉表示：定向梯度直方图（HOG）描述符在车辆和行人检测中显示出了很好的结果。决定将这个描述符作为车辆和行人视觉表示的核心。对象表示的目标是生成要在未来阶段使用的图像区域的视觉描述符，以确定这些区域是否包含感兴趣的对象。

提出了HOG描述符（SHOG）的稀疏版本，该描述符专注于图像块的特定区域。这允许减少常见的高维HOG描述符。图6说明了选择的一些块，以生成不同对象类的描述符：行人、自行车、汽车和卡车。这些块对应于物体的有意义的区域（例如，行人的头部、肩部和腿部）。为了加速S-HOG特征计算，采用了积分图像方案。

 

图6. 每个对象类面片的信息块，从左到右：行人、汽车和卡车。在这些稀疏块上计算梯度的直方图，并将其连接以形成S-HOG描述符。行人、自行车、汽车和卡车的描述符平均大小分别为216、216、288和288。

物体分类：由于性能限制，没有实现基于视觉的运动物体检测。使用激光雷达检测提供的感兴趣区域（ROI）来关注图像的特定区域。对于每个ROI，提取视觉特征，并应用分类器来确定感兴趣的对象是否在ROI内。分类器的选择对最终的速度和质量有很大的影响。

实现了一种基于boosting的学习算法，离散Adaboost。它将许多弱分类器组合在一起形成一个强大的分类器，其中弱分类器只需要表现得比偶然更好。

对于每个感兴趣的类别（行人、自行车、汽车、卡车），训练一个二元分类器来识别对象（正）和非对象（负）补丁。对于离线训练阶段，从公共数据集（如Daimler数据集）和手动标记的数据集收集正面图像，这些数据集包含来自不同对象视角的感兴趣对象（正面、背面、侧面）。

离线分类器由滑动窗口方案中的在线对象分类阶段使用。图7显示了在合并到最终对象之前行人和汽车检测结果的示例（分别为绿色和红色框）。为每个可能的对象估计对象分类的置信度。通常，正区域（包含感兴趣的对象）的数量越多，该对象属于该特定类的置信度就越高。

雷达目标

雷达传感器使用内置机制来检测移动的障碍物（目标），特别是那些横截面类似汽车的障碍物。n个目标的列表作为感知方法的输入提供。列表中的每个元素都包括检测到的目标的距离、方位角和相对速度。由于传感器将为每个具有显著雷达横截面的物体产生回波，因此目标可能对应于静态物体或其他移动障碍物，从而产生误报。以类似的方式，像行人这样的弱物体并不总是能被检测到，从而产生错误检测。由于定义感兴趣对象的动力学不同，使用由等速、恒加速度和转弯模型表示的交互式多模型（IMM）来跟踪每个目标。IMM提供了第一（GPB1）度和第二（GPB2）度的广义伪贝叶斯方法之间的折衷。

它只像在GPB1中那样计算k个高斯，但它仍然像在GPB2中那样具有k个高斯的混合物作为输出。目标之间的数据关联是通过prunned多假设跟踪方法实现的。

运动物体分类

通过在检测级别的融合中包含类别信息来增强常见的动力学表示。这些信息可以帮助改善检测关联，更好地估计对象的运动，并减少错误轨迹的数量。然而，在检测级别上，对象的类别没有足够的确定性，并且只保留一个类别假设会使纠正过早决策的可能性失效。

复合表示由两部分组成：动力学+外观。前者包括从运动物体检测过程中推断出的二维空间中的位置和形状信息。后者包括一个证据分布对于所有可能的类假设

 ，其中Ω ={{行人、自行车、汽车、卡车}是代表兴趣类别的辨别框架。融合方法使用该表示来传递对象检测的融合列表，并执行跟踪。

 

图7. 从摄像机图像成功检测行人（左）和汽车（右）的示例。

激光雷达传感器

对象表示的第一部分可以通过分析检测到的运动对象的形状来获得。在大的检测的情况下，该对象由方框

 建模，其中x和y是方框的中心，w和l是根据对象c的类别的宽度和长度。对于小的检测（主要是行人），使用点模型

 ，其中x，y和c分别表示对象的对象中心和类别。通过测量2D占用网格中检测到的对象来获得对象的位置和大小。对象的类别是根据对象的可见大小推断的，并遵循固定拟合模型方法。然而，由于移动对象的临时可见性，无法做出精确的分类决定。例如，如果检测到的物体的宽度小于阈值

 ，可能认为物体是行人或自行车，但不确定物体的真实大小。

为了定义感兴趣类别的典型规模，使用了欧洲销售的几辆乘用车、卡车和摩托车的物理尺寸分布的先验知识。然而，不是只保留一个类决策，而是为每个a∈定义一个基本的置信赋值ml（a）（方程4）Ω,其描述了由激光雷达检测到的运动物体类别的证据分布。包括与类别相关的因素

 ，以分别表示激光雷达检测行人、自行车、汽车和卡车的性能。此外，还使用贴现因子

 来表示激光雷达处理对自行车或汽车进行错误检测的不确定性。

当检测到自行车时，由于能见度问题，检测到的物体仍然可能是汽车或卡车的一部分，因此证据也放在{b，c，t}中。出于同样的原因，当检测到卡车时，几乎可以肯定它不可能是一个更小的物体。在所有情况下，无知假说Ω代表了知识的缺乏和课堂的普遍不确定性。

 摄像头传感器

相机图像提供了有区别的视觉信息，这导致获得对象类别的另一个证据分布。遵循第VI-B2节中描述的图像处理。对于假设生成，首先为要分类的图像的每个部分构建S-HOG描述符。为了验证假设，使用构建的分类器对不同的对象进行分类。

基于相机的分类在每个ROI内生成几个子区域，由激光雷达提供，以覆盖许多可能的规模和大小配置。有时，ROI可以包含多个感兴趣的对象。

一旦获得了每个ROI的对象分类，就根据等式5生成基本的置信度分配mc。这个信念分配代表了中的类假设的证据分布Ω为相机处理检测到的每个对象，其中

 ，

 和

 是置信因子，

 表示相机传感器的精度。

 雷达传感器

雷达目标被认为是初步的运动目标检测。因此，为了获得物体的类别，使用传感器传递的相对目标速度。速度阈值

 是使用城市地区车辆最慢情况下的记录数据静态估计的。应用基本置信赋值

 ，其中

 和

 是特定类的置信因子。

 融合方法

一旦对每个传感器输入执行了移动物体检测，并定义了复合物体表示，下一个任务就是物体检测和跟踪的融合。提出了一个置于检测级别的多传感器融合框架。尽管这种方法是使用三个主要传感器提出的，但通过定义能够提供先前定义的对象表示的额外检测模块，它可以扩展到使用更多的证据来源。

数据关联

当使用许多证据来源时，如在对象检测级别中，重要的是要考虑在传感器（证据来源）提供的不同检测列表中找出哪些对象检测相关的问题。

移动对象跟踪

使用融合方法提供的对象检测的组合列表，修改了所描述的基于模型的运动对象跟踪方法。使用复合表示调整了MCMC采样过程，以在滑动时间窗口中找到轨道（假设）的最佳轨迹。然后将生成的物体假设放入自上而下的过程中，考虑所有物体动力学模型、传感器模型和可见性约束。然而，不是在所有可能的邻居假设中进行搜索，而是使用每个对象检测的类证据分布，通过考虑具有更多大量证据的假设来减少搜索空间。如果两个对象的类属于同一个通用集，则它们具有相似的类。两组类被定义为一般类：车辆={c，t}和人={p，b}。

如果一个物体在假设{c}中具有高证据质量，只对c和t的可能假设进行采样。当最高质量的证据被放在非单因素假设（如车辆）中时，搜索空间被扩展到包括c和t样本。如前所述，执行动态融合策略，将融合方法提供的对象的当前状态与当前轨迹的对象描述相关联。这允许在每次有新的传感器数据可用时保持对象类信息的最新状态。因此，DATMO解决方案的最终输出由运动物体的列表组成，该列表由其动力学信息和由大量证据表示的一组所有可能的类假设描述。

实验结果

使用第四节中描述的传感器设置，从真实场景中收集了四个数据集：两个来自城市地区的数据集和两个来自高速公路的数据集。这两个数据集都是手动标记的，以便提供一个地面实况参考。分析了通过在DATMO组件中尽早包含类信息所实现的改进程度。此外，使用相同的实验场景，对所描述的跟踪级融合方法和检测级融合方法进行了比较。

在DATMO检测级解决方案中，首先对激光雷达传感器测量执行SLAM，以检测可能的移动实体。在每次检测的2D位置状态中，定义了辨别的框架Ω ={p，b，c，t}的证据类分布。

因此，

 是每个检测的所有可能的类假设的数量。然后，按照第六节和第七节中介绍的方法提取激光雷达、雷达和相机检测的目标表示。一旦获得了对象表示，就在检测级别执行融合，并跟踪融合的对象列表。

图8显示了在公路和城市地区的完整PS的两个输出示例。由于车辆周围有大量移动物体，这两种场景都被视为高流量场景。在这两种情况下，所有车辆，包括迎面而来的车辆，都得到了很好的检测、跟踪和正确的分类：高速公路上有几辆汽车和两辆卡车；以及市区的几辆汽车、一辆卡车和一名行人。

此外，还报告了静态物体（如障碍物），并使用第VI-A1节中描述的方法将其正确识别为静态障碍物。在这些例子的俯视图中，移动物体的速度由基于模型的跟踪模块估计，该模块利用复合物体表示来提供速度和方向。在早期融合阶段，雷达多普勒速度信息有助于提高激光雷达在已知移动方向后估计的目标速度。此外，通过来自三个不同传感器的融合信息以类分布的形式提供更可靠的类假设，提高了对象的类。持续支持应用程序使用此类分布来决定正确的操作。

在感知方法的输出中，移动物体由几条信息表示：位置、几何形状、物体类别、速度和移动方向，这些信息不能仅由一个单独的传感器提供。使用可见激光雷达测量、固定大小的类模型和来自相机分类的横向信息来更新边界框的大小。

边界框的高度是根据检测到的对象的类别和相机分类器的结果设置的。

表I和表II显示了由所提出的融合方法在检测级别上获得的结果与之前提出的在跟踪级别上的融合方法之间的比较。它考虑了对运动物体的错误分类。使用四个数据集进行实验：两个来自高速公路的数据集和两个来自城市地区的数据集。

表一

融合结果。c和t未分类的数量。

数据集	移动目标	车辆误分类数目
		跟踪等级	检测等级
公路1	110	6	4
		5.4%	3.6%
公路2	154	7	5
		4.5%	3.2%
城市1	195	20	10
		10.2%	5.1%
城市2	233	24	9
		10.3%	3.8%

 表二

融合结果。p和b未分类的数量。

数据集	移动目标	行人误分类数目
		跟踪等级	检测等级
城市1	52	11	6
		21.1%	11.53%
城市2	58	14	7
		24.13%	12%

 可以看到，相对于跟踪级融合，高速公路检测级融合的改进并不显著。然而，在高速情况下，移动车辆的确定性非常重要。因此，这种小的改进对于最终应用非常有用，例如连续支撑系统。城市地区代表着对车辆感知的现代挑战。与其他融合方法相比，融合方法在检测水平上有了相当大的改进。这里，传感器检测的更丰富的表示和数据关联关系允许对真实移动的车辆进行早期检测。

关于行人分类结果，获得了与车辆检测类似的改进。

激光雷达检测到的小集群是移动的障碍物，但不确定是否被归类为行人的问题主要通过雷达和基于相机的分类的分类信息的早期组合来克服。此外，在提出的方法中，运动物体（不仅仅是行人）的分类比所描述的比较融合方法平均需要更少的传感器扫描。

 这是由于关于放置在mca和mcb中的检测对象类别的知识的早期集成，这与MCMC技术执行的形状和运动模型发现过程的搜索空间减少直接相关。

在线评估

根据PS的运行时间统计，在城市地区（最具挑战性的场景），平均计算时间为40ms，满足了设计的实时平台的处理时间要求（75ms）。

在农村和高速公路上，整个PS的处理可以减少到30ms。表III总结了在四种不同情况下用在线数据测试PS后收集的结果。正确的检测代表真实的运动物体。错误检测表示被错误地识别为移动物体的检测。正确的分类代表分类良好的移动物体。错误的分类是不言自明的。为了清楚起见，正确和错误检测的数量以及分类也用百分比表示。四个感兴趣的物体被考虑在内：行人、自行车、汽车和卡车。

在只有少量汽车和行人的测试跑道场景中，行人和汽车的检测和分类率几乎完美（96-100%）。该场景不包含许多常见的驾驶情况，例如多个移动物体和高交通动态。然而，它允许测试PS的特定组件，例如行人和车辆分类以及移动车辆跟踪。

 

图8. 公路（1）和城市地区（2）的PS结果。检测到几个感兴趣的对象。左侧显示相机图像和已识别的移动对象。黄色方框表示移动物体，红色圆点表示激光雷达命中，红色圆圈表示雷达探测。右侧显示同一场景的俯视图。标记标识检测到的对象的类。结果视频演示可以在中找到http://goo.gl/fumbc2。

在高速公路上，车辆的检测率也很高：汽车（97.8%）、卡车（96.4%），其中遗漏的检测主要是由于固有的噪声和杂乱数据（例如激光雷达对地面的影响）。卡车的大尺寸使得卡车检测不如汽车检测准确，因为它有时与障碍物混淆。误检率（2.2%）主要是由于原始激光雷达数据中的反射产生了重影物体和噪声雷达目标检测。

然而，融合方法允许获得汽车或卡车的高度正确分类率，同时保持非常低的错误分类率。

在城市地区，考虑到移动障碍物数量的增加和杂乱的环境，车辆检测和分类仍然很高。然而，错误检测率高于高速公路场景中的错误检测率。

这种增加是由于高度动态的环境和高流量情况下视野的减少。此外，当分类器将交通岗哨错误地分类为行人时，行人错误分类通常会出现。这些错误分类建议构建更稳健的视觉分类器或实现更具辨别力的视觉描述符。

在农村道路中，可能会出现几个感兴趣的移动物体，但不存在高交通动态。此外，交通标志较少。在该场景中获得的错误分类率高于从其他三个场景中获得。这是由于越来越多的自然障碍物，如灌木丛和树木。常见的物体错误分类是由于错误的移动物体（主要是丛）初步分类为卡车或行人。一种解决方案可以是实现专用分类器来丢弃这种类型的障碍物。

结论和观点

 

回顾了智能车辆感知的问题。具体来说，将重点放在感知任务的DATMO组件上。已经提出使用分类信息作为复合对象表示的关键元素，其中不仅动力学信息而且外观信息在检测、分类中起着重要作用以及跟踪感兴趣的运动对象。通过在检测级别执行多传感器融合，分析了复合对象描述的影响。使用了三种主要传感器来定义、开发、测试和评估融合方法：激光雷达、雷达和相机。此外，完整感知解决方案是使用interactVe欧洲项目真实车辆的在线和离线数据进行评估的。

表三

在四个场景中的PS结果：高速公路、城市地区、农村道路和测试跑道。考虑了四个感兴趣的对象：pEDESTRIAN、bIKE、cAR和tRUCK。

 

在检测级别集成类别信息，允许融合通过考虑被检测对象的不同类别假设上的证据分布来改进检测。这种改进直接减少了DATMO组件早期级别的错误检测和错误分类的数量。此外，跟踪阶段受益于错误检测的减少和更准确的分类信息，以加速跟踪过程。

展望

基于3D的表示（例如，体素片段）可以提供更多关于车辆演示器周围障碍物的形状/类别的信息，例如感兴趣的物体和产生错误分类的常见障碍物（例如，树木、灌木和杆）。

有时分类精度会根据当前的驾驶场景而变化。场景分类领域的有希望的结果可以支持基于上下文的学习方法来估计检测和分类模块中的参数，从而生成更接近真实驾驶情况的可靠性因素。