聊聊无人驾驶汽车的发展历史(二）——军方、大学和汽车公司合作研究

　　20世纪80年代到90年代，伴随着计算机、机器人控制和和传感等技术的突破， 无人驾驶技术的发展进入了一个快速发展的阶段。这一时期的显著特点是军方、大学、汽车公司间开展了广泛的合作，成功研发了多辆自动驾驶汽车原型，这一时期主要使用视觉方法感知周围环境，依靠计算机对图片等信息处理、分析以生成控制汽车的命令。最具代表性的成果要数美国卡内基.梅隆大学的NavLab系列、德国慕尼黑联邦国防军大学的VaMoRs(P)系列和意大利帕尔马大学视觉实验室(VisLab)的ARGO项目。

卡内基.梅隆大学——NavLab系列

　　80年代，美国国防高级研究计划局（Defense Advanced Research Projects Agency，简称DARPA)制定了一个“战略计算计划”(Strategic Computer Program,SCP),DARPA希望以此从计算机架构、软件、以及芯片设计领域的高速发展中获益，并推动AI技术达到新的高度。1983年，DARPA将自助式陆地车辆(Autonomous Land Vehicle，ALV)列为战略计算计划的研究项目之一，这个计划的研究目的就是让汽车拥有充分的自主权，通过摄像头来检测地形，通过计算机系统计算出导航和行驶路线等解决方案。DARPA资助了卡内基·梅隆大学、斯坦福大学和麻省理工大学等大学和制造商企业共同参与研制。

　　卡内基·梅隆大学的主要任务是解决ALV系统复杂的感知和集成问题，为了攻克该技术,卡内基·梅隆大学的研究人员与1984年组建了导航实验室，命名为“NavLab”，专注于复杂环境中的高难度视觉感知问题的研究,他们研制了NavLab系列智能车辆，其典型代表有NavLab-1，NavLab-5和NavLab-11。

　　NavLab-1与1986年建成，该车基于一辆雪佛兰厢式货车改装而成，由三台计算机通过以太网集成在一起，主要用于图像处理、图像理解、传感器信息融合、路径规划和车体控制；采用的传感器主要包括JVC BY110U云台彩色摄像机、陀螺、ERIM激光雷达测距仪、超声传感器、光电编码器和GPS等，NavLab-1系统在CMU校园非结构化道路行驶速度为12km/h，在典型结构化道路情况下运行速度为28km/h。

 　　1989年，卡内基·梅隆大学的Dean Pomerleau用神经网络构建了一辆可以上路的自动驾驶汽车——ALVINN（Autonomous Land Vehicle In A Neural Network），ALVINN在卡耐基·梅陇大学校园实现了在没有任何人工干预的情况下自主行驶,如下图。

　　ALVINN 基于一套深度学习算法，通过观察人如何驾驶并“学习”人的驾驶技能。它通过车前的摄像头和激光测距仪输入数据，并根据相应的道路类型选择最为可靠的神经网络(如下图），运算出结果并从而控制车辆。那 ALVINN 是怎么学习的呢？他们向它展示人驾驶时摄像头的图像（输入数据），以及当时司机的反应（结果），从而它就会根据输入数据，调整神经网络中连接的强度，从而得出给予的结果。

　　当时ALVINN的计算系统拥有每秒钟百万级别的浮点运算能力，是Apple Watch计算能力的十分之一。这辆车的中央处理器（CPU）有一个冰箱那么大，依靠5000瓦特的发电机进行供电，硬件很大程度上限制了 ALVINN 的表现。尽管如此，ALVINN能够在九十年代早期跑到70km/h。ALVINN是首辆运用神经网络（Neural Network）控制的自动驾驶汽车，Pomerleau和他的同事们功不可没。

　　NavLab-5系统于1995 年建成，车辆基于1990款Pontiac Trans sport改造。CMU 与Assist-Ware 技术公司合作开发了便携式高级导航支撑平台PANS（Portable Advanced Navigation Support）。传感器系统包括：1)视觉传感器Sony DXC-151A 彩色摄像机一台，安装在挡风玻璃后面；2)差分GPS 系统一套，差分模式下定位精度为2m～5m；3)光纤阻尼陀螺；4)光电码盘。计算机系统包括一台SparcLx便携式工作站和一台HC11 微控制器。工作站完成传感器信息处理与融合、全局与局部路径规划；HC11 完成底层车体控制与安全监控。NavLab-5 在实验场环境道路上自主驾驶的平均速度为88.5km/h。

　　1995年7月，研究员Dean Pomerleau和机器人学博士生Todd Jochem在NavLab5(如下图）上开始了一项前所未有的工作:用计算机来完成大部分的驾驶任务。他们从匹兹堡、宾夕法尼亚州到加州的圣地亚哥，从东海岸到西海岸，完成了3000英里的“No hands Across American"之旅，期间Pomerleau和Jochem只需要操纵油门和刹车，汽车的方向由神经网络自动控制，整个行程NavLab 98%的时间都是自主驾驶。

　　NavLab-11系统是NavLab系列新一代的平台。车辆基于Wrangler吉普车改造，配置的传感器包括：1) 差分TrimbleAgGPS114 一套，采用广域增强，可实现实时亚米级精度；2) 陀螺仪和光电码盘，采用Crossbow的VG400CA惯性姿态测量系统，可以实现在动态环境中的全姿态测量；3) SICK LMS 221-30206 激光扫描仪一台，最大检测范围50m，分辨率10mm，最大扫描角180°，角分辨率0.5°；4) SONY EVI-330 彩色摄像机一台，可全方位转动。NavLab-11的车上装有工业级四核计算机，处理各种传感器采集到的信息，并把信息分别送至各个子单元，包括对象检测器、路肩检测器、防撞电子单元、控制子单元等。这款车最高车速为102km/h。

 　　NavLab自主车的研究方法中最具特色的地方是采用神经网络实现了对道路结构的分析，这为无人驾驶车辆道路识别提供了一种有效的方法。卡内基•梅隆大学的研究成果对于现在的无人驾驶技术提供了非常高的借鉴意义。

 无人驾驶先驱恩斯特·迪克曼斯——4D动态视觉

　　1980年代初，德国联邦国防军大学的恩斯特·迪克曼斯(Ernst Dickmanns)和他的团队利用一辆奔驰面包车改造了一辆无人驾驶车“VaRoS”，VaRoS为德语“Versuchsfahrzeug fuer autonome Mobilitaet und Rechnersehn”的缩写，意思是“用于自动驾驶和计算机视觉的实验车辆”。

恩斯特·迪克曼斯 Ernst Dickmanns

　　VaRoS上配备了2个CCD摄像头、加速度计和角度变化等其他传感器，多个intel8086处理器构成的计算系统和用于控制方向盘、油门和刹车的底层控制执行器。他们构建了一种叫做“4D”的动态视觉模型，4D即随时间变化的三维观察对象（通过摄像头获得左右白色车道线），基于随时间变化的车道线可以推导出车辆相对道路的状态变量，然后应用卡尔曼滤波编写软件对状态变量进行递归估计，并转换成适当的驾驶指令对汽车进行自动控制。卡尔曼滤波器非常适合不断变化的系统，它还具备内存占用较小（只需保留前一个状态）、速度快的特点，这有效解决了由于当时计算机运算速度不够快而无法处理快速变化的视觉街景的问题，使得高速自动驾驶可以实现。

　　1985年西欧一些国家共同成立了一个旨在推动各国在尖端技术领域合作的“开放框架”——“尤里卡”(Eureca)，在这个框架之下，企业或科研单位可以自主的提出研究项目、选择合作伙伴、合作范围、合作方式，并能够获得国家资金支持。1986欧洲汽车制造业协会联合众多汽车公司、汽车电子厂商和零部件供应商、研究所和大学合作在尤里卡框架下启动了'Programe for a European Traffic of Highest Efficiency and Unprecedented Safety' (PROMETHEUS)的智能交通项目，即普罗米修斯计划，该计划旨在推动交通的最高效率和安全性的最大化，梅赛德斯.奔驰公司也参与了这个项目。1986年，奔驰公司成立 100 周年，奔驰计划通过普罗米修斯计划启动开发汽车新技术,这其中就包括自动驾驶技术。

 　　迪克曼斯的研究成果引起了奔驰公司的兴趣，1986年12月Dickmanns在奔驰位于斯图加特的环形试车场里利用VaRoS(如下图）展示了它的动态视觉技术，最高速度36km/h，奔驰公司表达了合作的意向，但普罗米修斯计划设想的技术路径是利用埋在地下电缆来控制汽车转向，还有建议使用雷达或激光雷达方案，而迪克曼斯坚持他的4D方案，因此他需要再次证明他的动态视觉在较高速度情况下也能正常行驶。1987年，还是那辆VaRoS（增加了不少8086处理器以支持更快的计算速度)，在巴伐利亚州丁戈尔芬附近的一条封闭的高速公路上进行了测试，总共行驶了超过20km，测试车速达到了90km/h(这已是发动机能提供的最大速度了）。测试很成功，迪克曼斯的动态视觉方案干掉了电缆引导方案，他们一起成功地从欧洲尤里卡普罗米修斯计划中申请到了资金。1988年，迪克曼斯为他的VaRoS继续增加大量8086处理器（实现垂向检测障碍物），在奔驰位于德国巴登-符腾堡州Rastatt的试车场，成功的利用单目摄像头进行了障碍物识别和跟踪的测试。

 

 　　20世纪90 年代初，戴姆勒公司的高层提出了一个大胆的想法：希望能够在 1994 年10月巴黎展会上演示自动驾驶技术，并在巴黎的三车道高速公路正常交通情况下实车展示。尽管迪克曼斯觉得这个想法很有挑战性，但基于对动态视觉方法的自信和对团队的信任，他答应了戴姆勒公司的要求。戴姆勒加大了对迪克曼斯团队的投资，并派游说团队花大力气成功游说法国相关部门，获得了 法国戴高乐机场附近的1 号公路的测试牌照。

　　迪克曼斯和奔驰团队利用奔驰 500 SEL和第二代动态视觉系统搭建了两台无人驾驶原型车VITA-1和VITA-2。第二代动态系统的特点是：车辆前后配备了由两组CCD摄像构成的机双目视觉系统，由60个晶片机(transputer) 构成计算单元(这在当时是超级计算机的配置），用于图像处理和场景理解。VITA-1和VITA-2系统在高速公路和普通标准公路上进行了大量实验，实验内容包括跟踪车道线、躲避障碍物以及自动超车等。车辆前进速度由驾驶员根据交通信号、环境条件和目标进行选择。

　　1994 年 10 月，普罗米修斯项目在巴黎戴高乐机场附近的1号公路上进行了最后一次展示。Dickmanns 的团队带着那两台辆银灰色的奔驰 500 SEL 去戴高乐机场接机，接上多名贵宾驶上1号高速路后，他们打开了车辆的自动驾驶模式。当时的情景与现在类似，车辆驾驶席上还是坐着一名工程师，他的手会虚搭在方向盘上以防万一，而真正负责驾驶的是车辆自己。VITA-1和VITA-2在三车道高速公路上以高达130公里/小时的速度行驶了1000多公里。成功演示了在自由车道上驾驶、识别交通标志、车队根据车速保持距离驾驶、自动通过左右车道变换等。尽管中间也有些不算完美，比如测试车辆前面有其他车辆遮住路标，或者道路标线变模糊的时候，测试车的车道识别功能就开始出现问题。但在那个时代，这已经非常不容易的事情了，这次测试在当时妥妥的上了众多媒体的头条。

巴黎演示会上的三辆自主道路车辆，从左至右：UniBwM VaMP、戴姆勒VITA-2和VITA-1 

　　1995年，迪克曼斯团队得知美国CMU Dean Pomerleau和Todd Jochem完成了“No hands Across American"之旅后，他和他的团队基于一辆奔驰W140S，应用第三代动态视觉系统构建了一辆自动驾驶原型车，他们从慕尼黑一路行驶到哥本哈根，自动驾驶行驶里程超过1600 公里，最高时速达到了180km/h。

 　　随着AI寒冬袭来后，巴黎那次演示也开始变得黯淡无光。戴姆勒直截了当的表示，希望 Dickmanns 尽快拿出可以推向市场的产品。但在当时的条件下， Dickmanns 实在无法满足这位“老板”的要求。随后，戴姆勒逐渐失去了兴趣，不愿在 Dickmanns 昂贵的基础研究上花钱了。同是，自动驾驶这个概念一开始似乎就与德国厂商的市场定位有些冲突，一直以来他们打造的都是“驾驶者之车”。当时戴姆勒选择倾囊相助可不是要彻底干掉司机这个职业，只是想让用户不再为事故担惊受怕，同时证明计算机视觉技术可以用来防止事故发生。现在来看，戴姆勒没能在自动驾驶上持续投入确实是个错误。要不然，现在还有Waymo等其他公司什么事儿。

　　如今，虽然德国汽车巨头们依然手握自动驾驶行业近半专利，但以硅谷科技巨头为代表的新来者们正在急起直追。业内专家认为，现在的自动驾驶领导权之争中，汽车巨头与科技新贵可以说是并驾齐驱。德国可能会丢掉自己自动驾驶急先锋的地位，因为它的技术研究已经出现了严重的断档。

　　上世纪 90 年代末，Dickmanns 将眼光转向海外，最终这位传奇人物拿到了美国陆军研究实验室一份为期四年的合约。这次的合作催生了新一代自动驾驶汽车，它能掌控更为复杂的地形。Dickmanns 2001年退休时，又给这个行业留了一份大礼，他的一份论文吸引了 DARPA 的注意，DARPA 决定举办自动驾驶挑战赛。

　　随着新的自动驾驶热潮兴起后，Dickmanns 的努力几乎被世人遗忘。Dickmanns 的故事确实令人唏嘘，这个传奇项目的命运也证明：技术的进步不是小步前进，它经常进一步退三步，既会在热潮中突然爆发，也会在混乱中轰然崩塌。

　　下面是Dickmanns 2011年8月在加州山景城Google做的一场名为——Dynamic vision as key element for Artificial Generall Intelligence的学术报告，其中有对他的动态视觉技术，以及无人驾驶汽车和其他相关的工作的介绍。

　　这里还有一个IEEE对Dickmanns的专访，链接为 https://ieeetv.ieee.org/mobile/video/robotics-history-narratives-and-networks-oral-histories-ernst-dickmanns，供参考，让我们记住这个传奇人物为推动无人驾驶汽车发展所作的探索和贡献，传奇不该被遗忘。

意大利帕尔马大学Alberto Broggi——ARGO无人车

　　1996年，在“尤里卡”(Eureca)资助下，VisLab创始人—意大利帕尔马大学的Alberto Broggi，带领团队启动开发一款名为ARGO的无人驾驶原型车。ARGO以一辆Lancia Thema为基础，采用通用芯片、商用MMX 奔腾Ⅱ车载计算机系统，配备了一种相对简单且具有成本效益的视觉系统，名为Generic Obstacle and Lane Detection（GOLD）,GOLD系统是ARGO车辆的自动驾驶员,旨在检测车道标记和定位障碍物,它的主要特点是这两个功能共享相同的基础方法（逆透视映射几何变换）。GOLD采用商用低成本CCD摄像机，应用立体视觉检测和定位车辆前方的障碍，通过单目图像获取车辆前方道路的几何参数，通过I/O板来获得车辆的速度及其他其他数据。车道检测算法是从单目灰度图像中提取出道路特征，采用直线道路模型进行匹配。ARGO提供了三种驾驶模式：正常，辅助和自动。在正常模式下，汽车发现危险就会发出视觉和听觉警报。在辅助模式下，如果驾驶者没有做出反应，汽车会自行控制。在自动模式下，奔腾200 MMX处理器会处理来自摄像头的信息，以控制汽车。

　　1998年，在意大利汽车百年行活动中，ARGO试验车沿着意大利的高速公路网进行了2000km的道路试验。其中ARGO试验车行驶的区域既有平坦区域，也有高架桥和隧道丘陵地区。ARGO试验车的无人驾驶历程达到了总里程的94%，最高车速为112km/h。

Alberto Broggi(右一）和他的团队以及ARGO无人车

中国无人驾驶研究正式起步

　　和全球的发展节奏相近，20世纪80年代，中国无人驾驶的技术研发正式启动，中国立项了“遥控驾驶的防核化侦察车”项目，哈尔滨工业大学、沈阳自动化研究所和国防科技大学三家单位参与了该项目的研究制造。

　　八五期间，由北京理工大学、国防科技大学等五家单位联合研制成功了ATB-1无人车，这是中国第一辆能够自主行驶的测试样车，其行驶速度可以达到21公里/小时。ATB-1的诞生标志着中国无人驾驶行业正式起步并进入探索期，无人驾驶的技术研发正式启动。