人体重建/服装重建：10 篇工作到底用了哪些数据集？一张表看清

人体重建 / 服装重建：10 篇工作到底用了哪些数据集？一张表看清

结论先行

把 PIFu → PIFuHD → PaMIR → ICON → ECON → SIFU → Geo-PIFu 这条穿衣人体重建线，加上 SHERF（单图 Human NeRF）、StdGEN（单图角色生成）以及最新的 4D-DRESS（真实 4D 服装数据集）放在一起对比，可以得到三条很清晰的规律：

  1. 训练源从"各家私有自采"逐步收敛到公开的 THuman2.0。早期 PIFu/PIFuHD 用 RenderPeople、PaMIR 用 Twindom，后来 ICON、ECON、SIFU 集体转向公开、可复现、姿态多样的 THuman2.0（525/526 个扫描）。
  2. 评测考题高度统一：CAPE（姿态 OOD）+ RenderPeople / BUFF（服装 OOD） 几乎人人必考，指标清一色 Chamfer / P2S / Normal。公平比较越来越依赖"在同一训练集上重训所有 baseline"。
  3. 4D-DRESS 补上了关键的一块：此前全是静态扫描，它提供真实世界动态 4D + 服装语义标注 + garment mesh，并且直接把上面这些重建方法当成 baseline 重跑了一遍——等于给老方法出了一张更难的"真实动态"考卷。

一、主表：每个工作用了什么数据

工作 训练数据 评测 / 测试数据 其它用途
PIFu (2019) 自采高保真穿衣人体扫描（对比文献常记作 442 / 54；ICON 复现时用 450 个 RenderPeople 渲染样本） RenderPeople、BUFF 真实网络图：DeepFashion
PIFuHD (2020) RenderPeople 450 / 50；用 COCO 随机贴背景做增广（因此免分割掩码） RenderPeople、BUFF 定性对比 DeepHuman / PIFu / Tex2Shape 用 People Snapshot
PaMIR (2022, TPAMI) Twindom 1000（900 / 100）+ 从 DeepHuman 采 600 补姿态多样性 Twindom test split、BUFF 选 300 scans 定性：DeepFashion + 网图；多图：VideoAvatar
ICON (2022, CVPR) RenderPeople 450（AGORA 子集） → 渲染 138,924 个样本 AGORA-50、CAPE（CAPE-FP / CAPE-NFP） 只用约 12% 数据量即达 SOTA
ECON (2023, CVPR) THuman2.0：525 × 36 = 18,900（yaw 每 10° 旋转 + 随机擦除） CAPE-NFP（100 scans）、RenderPeople（100 件宽松衣物，OOD outfits） ECONEX 为优化式、免训练；把 PIFu/PaMIR/ICON/IF-Nets 都在 THuman2.0 上重训做公平比
Geo-PIFu (2020, NeurIPS) DeepHuman 5436 / 1359 DeepHuman 规模约为 PIFu 的 10 倍，公开可复现
SIFU (2024) THuman2.0 526（490 / 15 / 21）；训练用真值 SMPL-X，推理用 PIXIE CAPE（FP / NFP）、THuman2.0 3D 一致纹理精修，纹理 PSNR 比 PIFu 高 22.2%
SHERF (2023, CVPR) ZJU_MoCap / THuman / RenderPeople / HuMMan 四集 同上四集（NeRF 指标 PSNR / SSIM / LPIPS） 单图 Human NeRF，支持新视角 + 新姿态
StdGEN (2025) Anime3D++（VRoid-Hub 约 14k → 10,811 个动漫角色，99 : 1 划分） Anime3D++ test；跨风格借 THuman2.0 动漫角色语义分解，刻意不用 SMPL-X
4D-DRESS (2024, CVPR) 数据集体量：64 套服装 / 520 段动作 / 78k 帧（作为数据集本身） 作为评测 testbed：把自己的 inner / outer 两个测试集开放给重建、仿真、parsing、表示学习四条 benchmark 每帧含 1k 多视图图像 + 80k 面三角网格 + 1k 纹理图 + 顶点级语义标签 + SMPL(-X) 配准

二、4D-DRESS 原来是一张"新考卷"

4D-DRESS 自己论文里的 Table 1 就是一张很好的数据集地图，把合成数据和真实数据分开列：

类型 数据集 服装数 帧数 数据格式 纹理 语义标签 宽松衣物
合成 TailorNet 9 5.5k SMPL + Garments ✓
合成 ReSynth 24 30k SMPLX + 点云 ✓
合成 CLOTH3D 8.5k 2.1M SMPL + Garments ✓ ✓ ✓
合成 CLOTH4D 1k 100k Mesh + Garments ✓ ✓ ✓
合成 BEDLAM 111 380k SMPL-X + Garments ✓ ✓ ✓
合成 D-LAYERS 5k 700k SMPL + Garments ✓ ✓
真实 BUFF 6 14k Scans + SMPL ✓
真实 CAPE 15 140k SMPL + D
真实 ActorsHQ 8 39k Scans ✓
真实 X-Humans 20 35k Scans + SMPL-(X) ✓
真实 4DHumanOutfit 14 459k Scans + SMPL ✓ ✓
真实 4D-DRESS (Ours) 64 78k Scans + SMPL(-X) + Garments ✓ ✓ ✓

关键结论：真实数据集里，之前只有 4DHumanOutfit 带语义标签，而且大家普遍缺少分好割的 garment mesh、宽松衣物和动态动作；4D-DRESS 是第一个把"真实 4D + 纹理 + 语义 + garment mesh + 宽松衣物"全占齐的。

三、4D-DRESS 上重跑老方法：直接回答了前面表格的疑问

4D-DRESS 把上面那批方法当 baseline 重跑，结论很值得注意（Table 4，单视图重建，Inner / Outer 两套测试集）：

方法 Inner CD↓ Inner NC↑ Inner IoU↑ Outer CD↓ Outer NC↑ Outer IoU↑
PIFu 2.696 0.792 0.690 2.783 0.759 0.697
PIFuHD 2.426 0.793 0.739 2.393 0.763 0.743
PaMIR 2.520 0.805 0.706 2.608 0.777 0.715
ICON 2.473 0.798 0.752 2.832 0.762 0.756
PHORHUM 3.944 0.725 0.580 3.762 0.705 0.603
ECON 2.543 0.796 0.736 2.852 0.760 0.728
SiTH 2.110 0.824 0.755 2.322 0.794 0.749

（CD = Chamfer Distance，越小越好；NC = Normal Consistency，越大越好；IoU 越大越好。）

作者观察到一个"耐人寻味的问题"：用 SMPL 做先验的方法（ICON、ECON、SiTH）在内层衣物上更好，但一遇到外层宽松衣物（open jacket、coat）就明显掉；反而是 PIFu / PIFuHD 这类端到端方法在两类衣物上更稳定——于是引出"重建服装到底需不需要人体先验"这个问题。这一点和之前 ECON/SIFU 的结论互相印证：先验是双刃剑，宽松/偏离身体的服装是共同软肋。

同一篇里另外三条 benchmark 也很有意思：

  • 服装仿真（Table 3）：LBS 基线 + PBNS/NCS 在上装/下装上还行，但在 Dress / Outer 上崩（CD 到 4+）；HOOD 擅长裙子（自由流动更自然），但单帧失败会向后传播；用真实数据微调材质参数得到 HOOD* 后，CD 大幅下降（Lower 0.924 / Upper 1.308 / Dress 2.463 / Outer 2.833）。
  • 单视图服装重建（Table 5）：BCNet / SMPLicit / ClothWild 三个只在合成数据上训过的方法，在 4D-DRESS 上"predict 不准衣服尺寸、褶皱细节也丢了"，泛化到真实数据明显吃力。
  • 人体解析（Table 7）：Graphonomy 最强（Inner mAcc 0.968 / mIoU 0.859）；人体表示学习（Table 8）：SCANimate / SNARF / X-Avatar 都学不会大幅非刚性形变（比如折叠的裙子），被骨架形变卡住。

四、给"服装重建 / 虚拟试衣"方向的几点实用建议

  1. 评测别只报一个数据集。CAPE 考姿态泛化、RenderPeople/BUFF 考服装与扫描真值，4D-DRESS 考真实动态 + 服装语义——三者互补，缺一个都容易被审稿人问"是不是只对你选的分布有效"。
  2. 注意"训练集一致性"。ICON 与 ECON 都发现：不同方法训练集不同会让对比失真，所以他们纷纷在统一训练集（RenderPeople 450 或 THuman2.0）上重训所有 baseline。复现别人的数字时先确认这一点。
  3. 宽松衣物（dress / outer）是共同天花板。SIFU、ECON、4D-DRESS 的结论一致：模型一旦"贴身假设"过强，宽大外衣就崩。往"服装-人体解耦、部件级先验"走是有价值的切入点。
  4. 真实动态数据是下一个增长点。静态扫描已近饱和（各家都在 THuman2.0 上刷 Chamfer），4D-DRESS 这类带时序 + 语义的真实数据，能同时喂给重建、仿真、parsing、表示学习四条线。

术语表 / Key Terms

  • dataset — 数据集
  • benchmark — 基准（用于公平比较的固定考卷）
  • testbed / test bench — 测试平台/试验台（供众多方法统一评测的数据与协议）
  • train / test split — 训练/测试划分
  • OOD (out-of-distribution) — 分布外（训练时没见过的姿态或服装）
  • ground truth (GT) — 真值（这里指高精度扫描网格）
  • scan — 扫描（3D 人体扫描模型）
  • 4D scan — 随时间变化的三维扫描序列（3D + 时间）
  • volumetric capture — 体积捕捉（多相机阵列重建三维人体）
  • textured scan / texture map — 带纹理的扫描 / 纹理贴图
  • garment mesh — 服装网格（单独分割出来的衣服网格）
  • vertex-level semantic label — 顶点级语义标签（每个顶点标上属于哪类衣物）
  • human parsing — 人体解析（把人体图像/网格按部位与衣物分类）
  • graph cut — 图割（一种全局能量最小化优化方法）
  • human-in-the-loop — 人在回路（人工介入的自动流程）
  • loose garment — 宽松衣物（裙子、外套等，重建难点）
  • inner / outer outfit — 内层/外层穿搭（内层如衬衫，外层如敞开的外套）
  • SMPL / SMPL-X — 参数化人体模型（X 版含手与脸）
  • LBS (linear blend skinning) — 线性混合蒙皮
  • canonical template — 规范（静止 T/A 姿态）模板
  • Chamfer Distance (CD) — 倒角距离，两组点云互相最近距离，越小越好
  • P2S (point-to-surface) — 点到面距离
  • Normal Consistency (NC) — 法线一致性，越大越好
  • IoU (Intersection over Union) — 交并比
  • stretching energy (Estr) — 拉伸能量（仿真网格相对模板的边长变化）
  • material parameter / inverse simulation — 材质参数 / 逆向仿真（从观测反推物理参数）
  • single-view reconstruction — 单视图重建
  • video-based reconstruction — 基于视频（多帧）的重建
  • novel-pose synthesis — 新姿态合成（把角色摆到没见过的姿势）
  • skeletal deformation — 骨架形变（相对骨骼驱动的形变，区别于大幅非刚性形变）
  • non-rigid deformation — 非刚性形变（如裙子随动作的褶皱）
  • domain gap — 域差（合成数据与真实数据之间的分布差异）
  • texture map resolution — 纹理图分辨率（本文 1k）
  • 80k-face mesh — 8 万面的三角网格（本文每帧网格规模）
  • re-implementation — 复现实现（为公平比较而重训的版本）
  • baseline — 对照基线方法
  • OOD outfits — 分布外服装（未见过的服装类型）
  • test set — 测试集
  • data augmentation — 数据增补/增广
  • PSNR / SSIM / LPIPS — 峰值信噪比 / 结构相似度 / 感知差异（NeRF 类主流指标）
  • FID / CLIP similarity — 分布距离 / 图文相似度（生成类指标）
posted @ 2026-09-16 10:00  Quentin_Yws154  阅读(24)  评论(0)    收藏  举报