CVPR 2024亮点研究 | Meta革新3D人体恢复技术，ScoreHMR引领图像扩散模型新潮

引言：3D人体姿态与形状恢复的新视角

在3D人体姿态和形状恢复领域，传统的方法通常依赖于优化技术，通过将人体模型拟合到图像观测数据上来解决逆问题。然而，这些方法存在多个局部最小值、对初始化敏感且通常较慢的缺点。为了克服这些限制，回归方法被提出，通过训练神经网络直接从图像预测人体模型参数。但现有的前馈系统尚未能同时实现准确的3D重建和图像-模型对齐，尤其是在单目设置中。我们提出了一种新的方法，Score-Guided Human Mesh Recovery（ScoreHMR），它利用扩散模型作为学习到的先验，通过在潜在空间中的得分引导来实现与图像观测的对齐。ScoreHMR能够有效解决多种应用中的逆问题，而无需对任务不可知的扩散模型进行特定任务的重新训练。我们在单帧模型拟合、多视角重建以及视频序列中重建人类动作等三种设置/应用中评估了我们的方法。ScoreHMR在所有设置中始终优于所有优化基线。

论文标题：Score-Guided Diffusion for 3D Human Recovery

论文链接：https://arxiv.org/pdf/2403.09623.pdf

公众号【AI论文解读】后台回复“论文解读