Kinect 如何实现人体跟踪的？

来自：How Kinect tracks people
Written by Mike James  
Tuesday, 09 November 2010 08:55

 翻译：Figo 2010.11.15

（Figo: 日报没更新，最近Kinect挺火的，凑个热闹，当新闻看，不要当技术文）

 

Kinect的硬件令人印象深刻，软件如何呢？人体跟踪在计算机视觉中是个老大难的问题了，被解决了吗？

 

一想到微软的人体输入设备——Kinect时，首先会关注其硬件。确实，它令人印象至深——一个标准摄像头和一个红外摄像头一起工作为三维场景提供一张深度图（depth map）。

但Kinect的软件值得一提，因为它将深度图分割为各对象并进行跟踪。具体地说，它无需佩戴传感器就可实时追踪人体，这是相当困难的任务——这作为人工智能和计算机视觉的一部分被广泛研究。

 

据报道Kinect核心软件是由微软研究院剑桥视觉研究小组（Microsoft Research Cambridge's vision research group）开发的。解决问题的一个老方法是建立一个化身（avatar），并试图匹配由摄像头提供的数据。跟踪是通过随着数据变化，移动化身来更新匹配。这是Kinect最初软件的基础，但不足于用于一款商业产品。一分钟左右它便会失去追踪的目标并且不能恢复。而且有个问题，它只有对与系统开发者体形差不多的人才有效，因为这个是用来匹配的化身的大小和形状。

该视觉研究小组的新方法是利用机器学习。他们训练学习系统识别身体部位。这可以用来对输入的数据流进行身体部识别，是基于GPU像素级别的。利用骨骼跟踪算法，这些分类通过像素汇集产生一个假想的三维身体关节座标。

 

最近一个研究人员解释说：

“我们通过训练大量的和高度多样化的合成图像训练集，保证系统适用于各年龄段、各种体形大小、服装和发型。再来，识别不是依赖任何临时信息，这保证系统能够从任意姿态初始化，以及防止灾难性的跟踪丢失，从而延长第一次游戏时间。”

 

谁说人工智能从未兑现承诺？显然，这种方法还有更多应用，而不仅仅限于一个游戏输入设备。