点云可以预测未来？波恩大学最新开源：自监督的三维点云预测

原文链接：点云可以预测未来？波恩大学最新开源：自监督的三维点云预测

德国波恩大学StachnissLab最新工作，基于自监督学习的未来三维点云预测，被CoRL2021录用。论文及代码都已开源！

论文标题：Self-supervised Point Cloud Prediction Using 3D Spatio-temporal Convolutional Networks

论文作者：Benedikt Mersch， Xieyuanli Chen， Jens Behley， Cyrill Stachniss

论文链接：http://www.ipb.uni-bonn.de/pdfs/mersch2021corl.pdf

开源代码：https://github.com/PRBonn/point-cloud-prediction

视频链接：点云可以预测未来？波恩大学最新开源：自监督的三维点云预测
随着自动驾驶技术的发展和对安全性能要求的提高，大多数无人车会搭载 三维激光雷达，即所谓的 LiDAR，来感知周围的环境。LiDAR可以生成无人车周围场景的局部三维点云。这些三维点云数据可以被广泛用于众多机器人和自动驾驶任务，例如定位、物体检测、避障、三维重建、场景理解和轨迹预测等等。

“对于这些任务而言，如果能够对未来的观测进行预测，将会带来很大好处。****”

预测传感器未来的观测可以帮助无人车更好地进行下一步决策。例如将预测得到的未来点云用于路径规划任务就是一个有很前景的应用，预测得到的点云可以很好地辅助规划算法进行避障和可通行区域识别等等。与传统预测车辆轨迹不同的是，直接预测未来点云观测不需要任何先验知识和复杂的前期准备工作，包括对车辆进行检测、定位或跟踪来预测未来场景。此外，直接对未来点云观测进行预测不会被局限于单一的车辆行为预测任务，因为基于原始点云观测可以实现以上提到的众多。

给定过去连续多帧观测（红色点云），所提出的方法可以对未来点云观测进行预测 （蓝色预测所得点云）

从机器学习的角度来看，点云预测也是一个非常有趣的方向，因为一旦采集了连续的数据集，在训练的过程中，某一时刻的未来观测值也是已经采集好的。这一连续时空属性使得神经网络可以通过自监督的方式学习对未来点云进行预测。因此，在训练神经网络过程中无需昂贵的人工标记，可以在线评估网络预测性能，从而很好的在未知环境中进行使用。

右上角展示的是T时刻的当前观测，剩下五幅图像依次展示的是接下来 五个时刻的未来点云。红色显示的是点云真实观测，蓝色显示的是所提方法预测得到的点云观测。

这篇工作实现了利用过去多帧LiDAR观测对未来原始点云进行预测。其使用 三维卷积神经网络来联合编码空间和时间信息。该方法采用一种新的基于连接范围图像的时空四维描述作为输入。其可以联合估计未来范围图像和对应每个三维点的分数，用以确定多个未来时间步长的三维点的稳定度。该方法通过使用跳跃连 接和球形填充的水平一致性来获取环境的结构细节，并提供比其他基准方法更准确的未来点云预测。

该方法可以实现全尺寸（full-size）点云预测并且在线实时运行。上图所展示的是所提出的用于未来点云预测的神经网络结。

11 月 8 日至11日，第五届Conference on Robot Learning （CoRL） 2021 在英国伦敦成功举办。 CoRL 是面向机器人学习研究的 single-track 会议，涵盖机器人学、机器学习和控制等多个主题。近年来，CoRL 已经成为了机器人学与机器学习交叉领域的全球顶级学术会议之一。德国波恩大学StachnissLab常年关注于机器人以及自动驾驶领域。此次在CoRL2021上发表的最新工作所实现的功能是对激光雷达未来点云观测进行预测。

独家重磅课程！

1、 VINS:Mono+Fusion SLAM面试官：看你简历上写精通VINS，麻烦现场手推一下预积分！

2、VIO课程：VIO最佳开源算法：ORB-SLAM3超全解析课程重磅升级！

3、图像三维重建课程（第2期）：视觉几何三维重建教程（第2期）：稠密重建，曲面重建，点云融合，纹理贴图

4、重磅来袭！基于LiDAR的多传感器融合SLAM 系列教程：LOAM、LeGO-LOAM、LIO-SAM

5、系统全面的相机标定课程：单目/鱼眼/双目/阵列 相机标定：原理与实战

6、视觉SLAM必备基础（第2期）：视觉SLAM必学基础：ORB-SLAM2源码详解

7、深度学习三维重建课程：基于深度学习的三维重建学习路线

8、激光定位+建图课程：激光SLAM框架Cartographer课程90+视频全部上线！适合服务机器人！

链接：点云可以预测未来？波恩大学最新开源：自监督的三维点云预测

全国最棒的SLAM、三维视觉学习社区↓

链接：点云可以预测未来？波恩大学最新开源：自监督的三维点云预测

技术交流微信群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群，请添加微信号 chichui502 或扫描下方加群，备注：”名字/昵称+学校/公司+研究方向“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

投稿、合作也欢迎联系：simiter@126.com

链接：点云可以预测未来？波恩大学最新开源：自监督的三维点云预测

扫描关注视频号，看最新技术落地及开源方案视频秀 ↓

视频号链接：点云可以预测未来？波恩大学最新开源：自监督的三维点云预测

—   版权声明  —

本公众号原创内容版权属计算机视觉life所有；从公开渠道收集、整理及授权转载的非原创文字、图片和音视频资料，版权属原作者。如果侵权，请联系我们，会及时删除。