03 2024 档案
摘要：最近在研究一个比较有意思的应用—车辆追踪算法。传统的车辆追踪算法是基于检测器检出车辆，之后使用卡尔曼滤波和匈牙利算法来进行位置预测与数据级联的。关于卡尔曼滤波，我之前已经写过一篇文章进行了详细的介绍；最近则是在研究匈牙利算法是如何工作的。这里简单的记录一下相关原理。
匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，广泛应用在运筹学领域。 美国数学家哈罗德·库恩于1955年提出该算法。之所以被称作匈牙利算法，是因为算法很大一部分是基于以前匈牙利数学家Dénes Kőnig(1884-1944)和Jenő Egerváry(1891-1958)的工作上创建起来的。
在车辆追踪中，匈牙利算法（Hungarian Algorithm）与KM算法（Kuhn-Munkres Algorithm）都是用来解决多目标跟踪中的数据关联问题，而数据关联问题，亦可转化为求解二分图的最大匹配问题。二分图的最大匹配问题听起来很绕口，这里如何理解呢？换句话说，就是求解任务分配问题，也叫指派问题，即n项任务，对应分配给n个人去做，应该由哪个人来完成哪项任务，能够使完成效率最高。
阅读全文
摘要：说到定位，相信大家一定不会觉得陌生。如今我们所处的信息时代，人人都有手机。每天，我们都会用到与地图和导航有关的APP。
这些APP，就是基于定位技术的。说到定位技术呢，大家又肯定会想到GPS、北斗这些名词。是的，这些都属于全球导航卫星系统，也就是**GNSS（Global Navigation Satellite System）**。
阅读全文
摘要：大家可以看到中间是一根竖轴穿过一个盘子，而盘子处于高速旋转状态，是陀螺的转子，根据陀螺的定轴性，竖轴也就是陀螺的自转轴在惯性空间内的方向保持不变。在这里我们要说明一点，我们拿陀螺仪出来说明欧拉角的万向锁现象不是因为我们飞机上用的陀螺仪就是这个样子，而是欧拉角中的欧拉旋转与我们陀螺仪的这个旋转状态是一样的，我们拿陀螺仪来解释万向锁产生的原因，而我们之所以称呼它为万向锁，也是因为这是三轴万向节装置中会出现的现象。
接下来我们先来看看这个陀螺仪的旋转状态。我们把飞行器放到陀螺仪旁边进行对比。首先，我们先来解释一下上面那个旋转的陀螺仪的三个环是怎么旋转的，每一个环都连有一根或者两根轴，这根轴就是每个环的旋转轴，我们可以看到最外面那个环旋转不会影响里面两个环的位置，中间那个环的旋转不会影响最里面那个环的位置，但是最外面的那个环会跟着动，而最里面那个环旋转会影响到外面两个环的位置，这种现象跟我们上一次讲欧拉旋转里的三次旋转是一样的，这也是我们拿陀螺仪来解释欧拉角万向锁现象的原因。
阅读全文
摘要：机器人的姿态测量对于许多应用至关重要，如导航、运动控制等。在这篇文章中，我们将介绍如何利用MPU6050传感器以及互补滤波和卡尔曼滤波算法来实现自平衡车的姿态测量。我们将从原理出发，逐步介绍互补滤波和卡尔曼滤波的基本原理，并提供相应的C代码实现。
阅读全文
摘要：人工智能算法犹如电影的主演，我们很多时候看电影只看到主演们的精彩，但其实电影的创意和呈现都来自于背后的导演和制片等团队。而人工智能算法背后的有关数据的软件，设施，虚拟犹如电影的导演和制片等团队。他们是塑造算法，成就算法的核心力量
阅读全文
摘要：特斯拉的摄像头视野可以覆盖车身周围360°，在前向有120°鱼眼、长焦镜头用于加强观测，布局如上图。
阅读全文
摘要：在ADAS多传感器后融合(上)中我们介绍了后融合的接口、策略。本文将主要介绍后融合的实现流程、难点及注意事项。
阅读全文
摘要：ADAS系统是一种高自动化的软件应用，对系统的鲁棒性与可靠性要求很高，单一传感器往往存在一定限制，此时便需要多传感器融合。多传感器融合会带来如下收益：
* 可以在部分场景提升整体感知精度。
* 某一传感器出现错误/失效时可以使用另一传感器进行补偿。
* 多传感器可以扩大FOV范围。
阅读全文
摘要：通常情况下，考虑到记忆泊车实际是一种低速自动驾驶控制过程，因此需要在记忆泊车过程中设置一定的设计运行范围才能保证其记忆建图和行驶控制具备可行性。比如，从控制逻辑上讲在记忆泊车控制中如果遇到前方障碍物的情况，对于记忆行车而言，通常是采用刹车避障的方式进行障碍物躲避。而记忆泊车则是通过转向绕行的方式进行障碍物躲避，从这一点上讲也是记忆泊车相对于记忆行车来说十分不一样的地方。此外，从整个静态ODD上看，我们的记忆行车通常是不需要考虑太多的极端的要素的。只要不是传感器本身的限制和遮挡都可以确保记忆行车控制的可行性。哪怕是类似内部道路、施工路段这类场景也可以不必作为ODD范围外需要考虑的要素，因为系统会根据识别的结果进行适时更新，但匹配上记忆行车的行驶路径方案相对比较单一。
阅读全文
摘要：首先是最优控制，之前总结LQR是一种无约束的线性二次最优控制问题，通过求解Ricatti方程得到最优控制率，而对于非线性系统，求取最优控制的问题被转化为求解对于的Hamilton-Jacobi-Bellman方程，可以转换成求解有约束的优化问题。并且mpc起源于工业应用，就是先在工业界成功应用之后才有了相对应的理论研究。
阅读全文
摘要：惯性测量单元(Inertial measurement unit，IMU)，是测量物体三轴姿态角以及加速度的装置。IMU通常包含陀螺仪 (Gyroscope)、加速度计 (Accelermeters)，有的还包含磁力计(Magnetometers)。陀螺仪用来测量三轴的角度/角速度，加速度计用来测量三轴的加速度，磁力计提供磁场朝向信息。
阅读全文
摘要：4D毫米波雷达的性能比一般的“3D”雷达要高，体现在距离远，精度高，角分辨率高等方面
阅读全文
摘要：**不对称融合：**我的理解是不同阶段进行进行的融合，比如利用激光雷达计算后物体的proposal与图像在feature map阶段进行融合，不同点是feature map阶段比proposal阶段更抽象，然后进行tensor融合，最后进行解码得出结果。这种方案更多是在实际应用中尝试发现，好与不好要更多的去尝试！
阅读全文
摘要：基于包围形的方法是一种粗略的碰撞检测方法，基于外接圆形的方法运算速度很快，但精度很差；基于轴对齐包围矩形（AABB）的方法适合本身就是矩形的物体，其运算速度非常快，但检测精度还是不够。
阅读全文
摘要：车道线检测(Lane Detection)是 ADAS 系统中重要的功能模块，而对于 L4 自动驾驶系统来说，在不完全依赖高精度地图的情况下，车道线检测结果也是车辆运动规划的重要输入信息。由于俯视图(BEV, Bird's Eye View)下做车道线检测相比于前视图，有天然的优势，所以本文根据几篇论文(就看了两三篇)及项目经验，探讨总结俯视图下做车道线检测的流程方案，并主要介绍 IPM 逆透视变换原理，[\[0\]](https://leijiezhang001.github.io/lane-det-from-BEV/#0)为车道线检测资源集。
阅读全文
摘要：在YOLO在2023年8月的报告中，统计了从2018年到2022年，在全球范围内激光雷达累计定点车型
阅读全文
摘要：激光雷达（Lidar，Laser Detecting and Ranging，激光探测和测距）是一种通过发射和接收激光束，来实现目标检测的感知元件。激光雷达一般通过测量发射和接收激光束的时间差（ToF，Time of Fly）或者频率差，来确定目标信息。激光雷达在短时间内可以获取大量的位置点信息（或者称为激光点云），1秒内可以生成的点的数量从几十万到数百万不等。由于激光频率高，波长短，所以激光雷达一般具备极高的角度分辨率和测距精度。
阅读全文
摘要：BEV要做的核心事情就是一件：把2D相机视角下的feature投影到2D鸟瞰图上。
但是，这个投影需要知道深度信息。当相机视角下，还没做到detection回归距离时，是只有平面的特征图的。‘
用AI，当然是假装知道了深度，投影变换用一个矩阵表示，然后靠数据去学习这个矩阵。可以理解为，把回归距离这一步在这做一遍。单帧图像当然可以做，靠近大远小，车和人的尺寸都是固定的，这个规律不难学到。
阅读全文
摘要：在自动驾驶系统运动规划模块的碰撞检测中，通常分为 粗略碰撞检测 和 精细碰撞检测 两个步骤。
粗略碰撞检测用来将两个明显不相交的物体快速排除，使用 外接圆的包围形 或 轴对齐包围矩形（Axis Aligned Bounding Box，AABB）都是比较好的方式。
阅读全文
摘要：很多人都有这样的疑问--基于BEV(Birds Eye View)的自动驾驶方案是什么？这个问题，目前学术界还没有统一的定义，但从我的开发经验上，尝试做一个解释：**以鸟瞰视角为基础形成的端到端的自动驾驶算法和系统**。
感知模块是最为重要的自动驾驶模块之一，也是最为复杂的模块。一般的感知模块包含障碍物目标检测，车道线语义分割，可行驶区域分割等等。在BEV出现之后，整个自动驾驶感知模块趋向形成统一，简洁，高效的端到端结构。不光是感知模块，基于BEV进行的规划决策也是学术界研究的方向。下面将结合几篇顶会论文来看BEV给自动驾驶技术带来的改变。
阅读全文
摘要：无人车上拥有各种各样的传感器，每个传感器的安装位置和角度又不尽相同。对于传感器的提供商，开始并不知道传感器会以什么角度，安装在什么位置，因此只能根据传感器自身建立坐标系。无人驾驶系统是一个多传感器整合的系统，需要将不同位置的传感器数据统一到一个固定的坐标系——自车坐标系下，才能分析当前无人车所在的道路场景。
阅读全文
摘要：三维刚体运动的数学表示：旋转平移矩阵、旋转向量、欧拉角、四元数、轴角模型、齐次坐标、各种变换等
照相机模型：单目/双目模型，单目中的世界坐标系/相机坐标系/图像坐标系的互相转换、畸变与矫正，双目涉及的视差和深度的反比关系、基线，鱼眼模型和校正等
图像变换：线性变换、仿射变换、透视（投影变换）
图像相似度评价指标：SSIM/PSNR/MSE、平滑损失、ξ等。
参考：《视觉SLAM十四讲》
阅读全文
摘要：自动驾驶中对复杂场景数据的检索需求正在增加，尤其是随着乘用车已经具备了在城市环境中导航的能力，必须解决长尾场景问题。同时，在已有的二维图像检索方法下，场景检索可能会出现一些问题，如缺乏全局特征表示和亚层次文本检索能力。
为了解决这些问题，作者提出了BEV-CLIP，这是第一种多模态BEV检索方法，它利用描述性文本作为输入来检索相应的场景。该方法利用大型语言模型（LLM）的语义特征提取能力，促进零样本检索大量文本描述，并结合知识图中的半结构化信息，提高语言嵌入的语义丰富性和多样性。实验结果表明在NuScenes数据集上，文本到BEV特征检索的准确率为87.66%。论文中的示例支持本文的检索方法也被证明在识别某些长尾场景方面是有效的！
阅读全文
摘要：对于自动驾驶来说，建图是必不可少的，目前主流厂商技术都在从HD到"无图"进行过渡筹备中，不过想要最终实现真正的"无图"还是有很长的一段路要走。 对于建图来说，包含了很多的道路元素，车道线，停止线，斑马线，导流属性，道路边缘以及中心线(包含引导线)等。这里，中心线的预测通常是根据轨迹，通过数学公式进行拟合，目前学术上逐渐采用模型进行预测，但是对于下游(PNC)来说，还是存在不够平滑，曲率不够精准等问题，不过这个不在本次方案讨论范围内，先忽略，以后有空可以写一写。 道路边界对于PNC来说也是至关重要，约束车辆行驶范围，避免物理碰撞发生。通常道路边界的生成有几种方法，一种是当做车道线的一部分，跟着模型一起输出，但是没有车道线的特征明显，容易漏检，而且道路边界是异形的，基于分割的方案会比基于Anchor的方案效果稳定一些。另一种是HD的方法，根据处理后的车道线，按照距离和规则等虚拟出道路边界线。本文给出一种新的解决方案，略微繁琐，但是优点是可以延用已有的公开数据集进行处理生成，快速落地验证，缺点是本方案不具备时效性，是离线的方法。
阅读全文
摘要：关于自动驾驶视觉感知，最近两三年另外一个热门方向便是更为直接的bev视角下的视觉感知。不同于深度估计先显式获取各个像素点的深度，再支持其他相关任务，bev视角下可以实现端到端的目标检测、语义分割、轨迹预测等各项任务。由于这种方法pipline更加简单直接，且能够更好地被下游规控所使用（在同一个坐标系），近期相关研究工作达到井喷趋势，霸占各大SOTA榜单。现按照大致发展顺序介绍一系列经典模型，帮助感兴趣的小伙伴快速了解相关内容。
阅读全文
摘要：在精确检测车速车距的方案中，视觉方案是非常具有挑战性的，但由于没有昂贵的距离传感器而大幅降低成本，所以潜力巨大。本文综述了基于视觉的车辆速度、距离估计。并建立了一个完整的分类法，对大量工作进行分类，对涉及的所有阶段进行分类。除此之外，还提供了详细的性能评估指标和可用数据集概述。最后，论文讨论了当前的局限性和未来的方向。
阅读全文
摘要：AEB即自动紧急制动（Automatic Emergency Braking），其通过雷达、摄像头共同监测前方车辆以及行人情况，若探测到潜在碰撞风险，系统将采取相应预警及制动措施，从而避免发生碰撞或减轻碰撞损害程度。
作为一项重要的ADAS主动安全功能，AEB近年来配置率不断提升，未来有可能成为标配。
阅读全文
摘要：我们往Spline 的方向深入，探究 Catmull-Rom 的曲线，想必研究的越深入，来到这里的人也越少。实际上，作为一个使用引擎的编程者，并不需要推导的那么深入，引擎自然有现成的实现。不过，既然已经钻研到了这里，“予之力尚足以入，火尚足以明也”如果不在此研究明白，恐怕以后也很难有机会再回到这里来研究更多吧。
当然，我们到了这里，会发现，这部分的中文的教材充斥着抽象的概念，晦涩难懂；这部分的博客往往伴有“无脑转译”和“不求甚解” 的存在。甚至能在一些他人的博文中发现隐蔽的错误，会困扰你对这部分知识的理解，这也是我本人亲自踩过的坑。所以，如果有能力，应阅读更多第一手的英文资料。
阅读全文
摘要：相机与激光雷达是怎么标定的？一览行业所有主流的标定工具 相机与激光雷达的标定是很多任务的基础工作，标定精度决定了下游方案融合的上限，因为许多自动驾驶与机器人公司投入了较大的人力物力不断提升，今天也为大家盘点下常见的Camera-Lidar标定工具箱，建议收藏！ 加V好友：AutoDriverZone
阅读全文
摘要：在 ADAS 领域，有个功能叫自适应巡航控制 (Adaptive Cruise Control, ACC) 。 ACC 是一种纵向距离控
制，具体包括发现目标车辆、判断目标车辆所在路径、测量相对本车的距离和速度，然后进行相应的
刹车等制动操作以保持安全驾驶距离。当没有发现目标车辆时，则保持预设的巡航速度。
对于测距而言，最直接的方法是采用毫米波雷达、激光雷达和双目相机。但是考虑到设备成本和计算
成本，人们开始考虑能不能用单目相机来做距离控制。当然这种考虑不是空穴来风的，而是有两个直
观的动机：
阅读全文
摘要：AVP-SLAM：自动泊车系统中的语义SLAM 附赠最强自动驾驶学习资料：直达链接 ●论文摘要 在自动代客泊车系统中车辆在狭窄且拥挤且没有GPS信号的停车场中进行导航，具备准确的定位能力是至关重要的。传统的基于视觉的方法由于在停车场中由于缺少纹理，以及重复的结构和场景的变化导致跟踪容易丢失，在这篇文
阅读全文
摘要：附赠自动驾驶学习资料：直达链接 附赠自动驾驶学习资料：直达链接
阅读全文
摘要：单目测距的基本介绍和实现原理 单目测距是一种常用的测量技术，它通过单个摄像头来测量物体与摄像头的距离。在现代科技的推动下，单目测距术正在不断发展和应用于各个领域。本文将分点阐述关于单目测距的重要性、原理和方法、应用领域以及潜在的挑战和发展方向 结尾附赠非常宝贵的自动驾驶学习资料 一、单目测距的重要性
阅读全文
摘要：SAE International 国际自动机工程师学会（原译：美国汽车工程师学会）英文全程为：Society of Automotive Engineers International，是一个全球性的非常活跃且专业的标准研究组织。对于各类工程领域均有涉及，且汽车领域（Automotive)为其主要
阅读全文
浙公网安备 33010602011771号