NeurlPS 2025！多伦多大学TIRE助力3D/4D 生成精准保留主体身份

论文标题：Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

作者团队：多伦多大学、向量研究院、Snap公司

发布时间：2025年10月28日

👉一键直达论文

👉Lab4AI大模型实验室论文阅读

✅Lab4AI平台提供AI导读和AI翻译等工具，辅助论文阅读。您还可以投稿复现这篇论文~

⭐核心贡献

该研究提出了TIRE（Track, Inpaint, Resplat），一种新的主体驱动3D/4D生成方法：

• 创新方法：提出三阶段方法（Track, Inpaint, Resplat），分别用于识别需要填充的区域、逐步填充未观察到的区域以及将2D填充观察结果重新投影回3D空间。
• 高效性能：在构建的DreamBooth-Dynamic基准测试和野外数据上展示了TIRE在主体驱动3D/4D生成方面的优越性能。
• 互补性：与其他领先的3D/4D生成方法形成正交且互补的关系，共同推动该领域的研究进展。

⭐研究方法

TIRE由三个关键步骤组成：

• 1.Track：使用长视频跟踪来识别其他视角中需要填充的区域。
• 2.Inpaint：采用定制的2D填充模型逐步填充Track识别出的未见区域，并确保填充内容与给定源视图中主体的身份匹配。
• 3.Resplat：将Inpaint生成的多视角2D填充观察结果重新投影回3D空间，同时保持多个视角之间的一致性。

具体实现流程如下：

• Track阶段：利用视频跟踪模型CoTracker从多视图渲染中找到源视图和目标视图之间的对应关系，识别需要填充的区域。
• Inpaint阶段：使用定制的2D填充模型逐步填充识别出的未见区域。
• Resplat阶段：将2D填充观察结果重新投影回3D空间，保持一致性。