读《使用部分亲和域的实时多人2D姿态估计》《Realtime Multu-person 2D Pose Estimation using Part Affinity Filed *》

《Realtime Multu-person 2D Pose Estimation using Part Affinity Filed *》

摘要

　　使用非参数化表征，即部分亲和域，学习人体关节之间的关联信息。本文提出的框架编码全局上下文，使用基于贪心策略的自下而上的关节解析实现了高精度和实时性，检测速度与识别人体的数量无关。其次，使用两个相同顺序预测过程的分支来共同学习关节位置和关节之间的亲和度。在数据集COCO2016和MPII数据集上都有优异的表现。

引言

　　（做什么，当前面临的挑战）人体2D姿态估计，定位人体解剖学上的关节点，主要是寻找个体身体部位。推测图像中的多人姿态，特别是活跃的个体，提出了一些列独特的挑战。第一，每一幅图像包含未知个数的人体，其中这些人会以不同尺度出现在任何可能的位置。第二，由于交流接触，关节遮挡和关节连接，这些人与人之间的交互造成了的复杂的空间干扰使得关节的关联变得困难。第三，时间复杂度随着图像上人的数量而增加，对于实时性的要求是一项挑战。

　　（主流两种方法的发展）一个常用的方法是使用人体检测器和单人姿态估计用于多人姿态估计。这些自顶向下的方法使用已有的技术用于单人姿态估计，但是其缺陷是，如果人体检测器出现错误，就没有追索权。再者，这些自顶向下方法的运行时间与人体的数量成比例。对于每一次检测，检测识别的人数量越多，单人姿态估计器所消耗的计算资源越多。相反，自底向上的方法提供了更强的鲁棒性，因此，更具有吸引力。它可以将运行时间复杂度与人体数量分离开。然而，自底向上的方法不能直接使用人与人之间和关节之间的全局上下文信息。实际上，先前工作中的自底向上方法没有保留效率上的收获，因为最终的解析需要代价高昂的全局推理。（？？？？）比如说，具有开创性的工作，Pishchulin提出了一种自底向上的方法，联合标记关节检测候选人，并将其与个人联系起来。然后在完全图上解决整数线性规划问题是NP难问题，且平均处理时间近似几个小时。Insafutinov基于ResNet构建了加强版关节检测器和图像相关的成对分数，极大提高了运行时间，但是这种方法在处理每幅图像上仍需要花费几分钟的时间。成对表征在回归的精度上很难提升，因此，需要一个单独的逻辑回归。

　　（文章创新点，贡献）本文提出了用于多人姿态估计的高效方法，在多个公共数据集上都有优异的识别精度。本文首次提出一种自底向上的方法，使用部分亲和域表示关节之间的关联度。部分亲和域是一组编码了在图像域上肢体的位置和方向信息的2D向量。本文验证了同时推测自底向上的关节检测和编码了全局上下文信息的肢体关联，使用一种贪心解析策略实现了高质量的结果，且只占用一小部分的计算资源。