人体部位分割(SCHP+ONNX)- 从对图像缺失的敏感度推导对人像图的拍摄要求
在通过 SCHP(Self-Correction Human Parsing) 这种方式下的 Pascal-Person-Parts 七类语义模型来对人体的部位进行分割识别(背景、头、躯干、上臂、前臂、大腿、小腿)时(schp-pascal-7-int8-static.onnx ), 当我们可以提供完整、规范的人体图像,该模型通常能较好地对7个部位进行分割,但在实际项目中, 我们可能只需要对关注部位局部(比如 躯干)进行识别就可以,这个时候我们不需要提供完整的人体图像,比如对于下面这个完整的人体图像来说,识别的效果是非常好的,对比效果如下:

我们可以看到,这是一个非常完美的识别效果,但是如果头部、手臂、或者下肢缺失部分,模型是否还能完整识别有效部位呢?本文主要对于不同的部位缺失对于结果的识别效果的影响进行了简单测试 。
该测试使用了相似的尺寸的图像(512*512),对不同部位模拟了缺失的场景。我们可以从下面的图片效果中看到识别结果的差异:

我们可以看到,这整体上是一个非常好的识别效果,即使仅包含头部、肩部,也能进行有效的分割,而且极其准确,但当四肢和头部缺失过多时,整体识别效果会骤降一大截:

所以,假设我们的关注区域是 躯干 的话,那么我们最少要提供包含部分上肢、部分下肢、和部分颈部的图像,才能基本满足对躯干的完整提取,那么在相同的条件下,反向的背部图像是否也能够完整提取躯干呢:

从上图的识别效果中我们看到,如果我们对躯干的提取拍摄要求是:半颈、半臂、半下肢 的话,仍然会出现躯干上部缺失的情况,因此对躯干的提取,综合正面和背面考虑,比较安全的最低满足要求为:半头、半臂、半下肢,即下图是最低识别要求:

虽然上图的背面图中,下肢由于缺失导致有部分误识别,但是仍然不影响躯干分割单准确性。
,那么相同的要求,我们是否可以适用于不规范的站姿呢:

我们可以从上图中看到,
当过度仰头时,对于部位缺失就变得极其敏感了,头部对于整体识别的参考意义是非常大的 ;
当身体姿势出现微蹲、弯腰时,在标准姿态中被识别成功的姿势也出现了手臂大部分缺失;
非常惊喜的是,对于良好角度的背部图像识别,在提供完整半腿、半臂、半头的情况下,仍具有非常良好识别效果;
因此,根据以上测试,我们基本上就可以得出了以 躯干 为关注点的人像拍摄要求:


本文测试了SCHP模型在不同人体部位缺失情况下对躯干分割的识别效果。实验表明,当图像包含半头、半上肢和半下肢时,模型能较准确识别躯干;但四肢或头部缺失过多会显著降低识别效果。测试发现,背部图像在相同条件下仍能较好识别躯干,而非常规站姿(如仰头、弯腰)会严重影响识别准确性。最终建议拍摄要求为:被摄者需微张双臂、正直站立、平视前方,取景需包含半头、半上肢和半下肢。
浙公网安备 33010602011771号