Reading papers_14(关于depth image on hand segmentaion,ing...)

 

  Real-time fingertip tricking and detection using Kinect depth sensor for a new writing-in-the air system 

  本文是基于kinect的空中手写字的识别,即用一个手指在空中写字,写完后系统会自动判断出所写的字是哪一个。本人比较感兴趣的不是怎么识别出字体,而是怎样不断的很好的跟踪手指。读过文章发现,作者并不是完全从深度数据或颜色数据开始做的,而是利用OpenNI很多工作,比如OpenNI提供的身体分割图。并且该文章提出的分割和跟踪算法其使用条件也是相当的严格的,即人的手必须在伸出在身体前才能跟踪(因为作者是进行空中手写字体识别,所以这种假设也有一定道理)。首先得到人的身体部位图,然后获取手和手臂图,接着利用聚类的方法获取手的部位图,找到手指的那个点,最后进行字体的识别。其流程图如下:

  

  将手和手臂部分从身体部位提取出来,本文是采用直方图的方法,因为当手没有伸出身体前时,其深度直方图只有一个峰值,如果当手伸出去了要开始写字时,这时的深度直方图有2个峰值,可以用2个高斯模型来模拟,GMM的参数通过EM算法活动。峰值小的对应的就为手和手臂部分了。

  当得到了手和手臂后,作者又采用2-means聚类算法来对这2部分聚类,最后能够很好的把手部分割出来。本文的聚类是采用的3D空间坐标,即包括了深度信息在里面。

  不过效果好的原因时OpenNI已经提供了人体所有部分图,已经把背景部分给移除掉了。且还需要求人的手部在身体前才能工作。

 

  Integrated Approach of Skin-color Detection and Depth Information for Hand and Face Localization

  本文也是利用了MS的SDK来获得人体的深度分割图,然后在该人体图上采用皮肤模型来滤波,得到两只手和脸部的大概区域,最后通过3-means距离来得到这3个部位的中心,然后以每个中心画一个boundingbox,达到检测的目的。文章中总结了皮肤模型主要有线性阈值,单高斯,混合高斯,椭圆模型等。

  本文的聚类是采用的2-D坐标。

  该方法的缺点是如果人穿着短袖或者人的手举起来放在脸旁边,这时候手的定位就不准确了。另外它也是利用了SDK本身人体的数据,所以不存在背景干扰等问题。算法的流程图如下:

  

 

  Hand gesture recognition using color and depth images enhanced with hand angular pose data

  本文没有用OpenNI或者MS SDK提供的人体部位图来做手部的定位,而是先用皮肤模型过滤掉非皮肤像素,然后假设手部是离kinect最近的地方,利用深度来获取手部区域,最后通过k-means聚类来获取手部的中心点,作者认为最后聚类时能获取到手部中心点,因为剩下来的大部分区域都在手部中心点周围,其它的杂点就过滤掉了。但是这里的k-maens中的k值不懂为多少,难道能够找自动找到最大数量的那个类?聚类所用的信息为空间3维点坐标。其流程图如下:

  

 

 

  Tracking of Fingertips and Centres of Palm using KINECT

  这篇文章分割出手部用的方法很简单,也是利用OpenNI提供的手部跟踪点,取周围区域且满足一定深度的像素作为手部,没有利用颜色信息和聚类方法,当然了这个效果就很一般了,只有当手在前面的时候还行。不过本文检测手指方法比较好玩,是利用先检测出手掌心,然后利用原手部减掉手掌心后剩下的就是手部了。

 

  Open/closed hand classification using Kinect data

  这篇文章的手部分割既利用了OpenNI提供的人体部位图,也利用了OpenNI提供的人体手部跟踪点,这样当然有很好的分割效果了。只是最大的缺点是人必须先站立(因为获取人体部位图需要站立)。 后面作者主要是完成手张开和握拳的识别,利用的是有关手的几个面积的数学表达式,不需要训练。

 

  Recognizing Hand Gestures with Microsoft’s Kinect

  这篇文章是也是利用了皮肤信息和深度信息来分割手部的。但是它既没有利用到第三方提供的人体部位图,也没有用到第三方提供的手部跟踪点图。当然了该算法的使用条件也是手必须放在身体前面。作者使用了大量皮肤统计先验知识很深度先验知识,最后通过贝叶斯方法将深度信息和皮肤信息结合起来做的分割。

 

 

 

作者:tornadomeet 出处:http://www.cnblogs.com/tornadomeet 欢迎转载或分享,但请务必声明文章出处。 (新浪微博:tornadomeet,欢迎交流!)
posted on 2012-11-27 11:13  tornadomeet  阅读(1999)  评论(0编辑  收藏  举报

阿萨德发斯蒂芬