ICON：用局部特征重建穿衣人体——为什么局部比全局更强

Xiu, Yang, Tzionas, Black. ICON: Implicit Clothed humans Obtained from Normals, CVPR 2022.

上一篇记 PIFu、PaMIR，这篇是这条线的第三步，也是思路的一次"转向"：把全局编码器换成局部特征。PIFu 的 pixel-aligned 特征、PaMIR 的 SMPL 体素特征，本质都是全局的——对整体姿态敏感，一遇到训练分布外的姿势（跑酷、武术、出画裁剪）就出断肢、缺部件、非人形。ICON 的解法很干净：先用 SMPL 引导预测正/背面穿衣体法线，再用"到体表的 SDF + 体法线 + 法线查询"做可见性感知的隐式重建。因为局部特征与全局姿态无关，于是数据效率极高、对分布外姿态鲁棒。

一句话结论

所有老方法的病根是全局编码器——它让"姿态"和"形状"产生了虚假相关。ICON 用 SMPL 引导的局部特征取而代之：预测正/背面穿衣法线 → 提取查询点处的局部特征（SDF + body 法线 + 可见侧的 clothes 法线）→ MLP 回归 occupancy → 提网格。结果是：只用 12% 的训练数据就打到 SOTA，且对 in-the-wild 图像、出画裁剪、极端姿态都稳得多。

一、问题：全局编码器是所有老方法的病根

论文把 SOTA 的失败归为两点：

1. 都在小而单调的 3D 人体数据集上训练（比如 RenderPeople），姿态、体型、衣物变化都很少；
2. 隐式模块喂进去的是全局 2D 图像特征或 3D 体素特征——这些特征对全局姿态敏感，会学到"姿态 ↔ 形状"的虚假相关。训练集里姿态不丰富，网络就只会那几种姿势，一到分布外（OOD）姿态立刻崩。

带来的具体 artifact：非人形（non-human shape）、断开的肢体（disembodied limbs）、缺部件、丢细节、高频噪声。论文的图 2 把 PIFu / PIFuHD / PaMIR / ARCH++ 的失败一一点名。

所以要解决的不是"堆数据"，而是改模型：训练数据高效 + 对 in-the-wild 与 OOD 姿态鲁棒。

二、模块一：SMPL 引导的穿衣体法线预测

从单张图预测全 360° 穿衣体法线很难——被遮挡部分的法线得"脑补"。ICON 借用"衣服下的身体"（SMPL）来降歧义：

• 用 PyMAF 估计 SMPL(-X) 网格 $M(\beta,\theta)$（$N=6890$ 顶点，$K=24$ 关节；也兼容 SMPL-X）；
• 用 PyTorch3D 可微渲染器 DR 从相反两个视角渲染 body 法线图：

$$\mathrm{DR}(M)\to N^b={N^b_{front},\,N^b_{back}}\qquad(1)$$

• 两个参数不同的 GN 网络，输入 $(N^b, I)$，预测穿衣体法线：

$$\mathrm{GN}(N^b,I)\to\hat N^c={\hat N^c_{front},\,\hat N^c_{back}}\qquad(2)$$

• 损失是像素损失 + VGG 感知损失：

$$L_N=L_{pixel}+\lambda_{VGG}L_{VGG}\qquad(3)$$

只用心像素损失会模糊，加 VGG 感知损失才逼出细节。

推理期的反馈回路（关键设计）：回归器给的 SMPL 并不像素对齐，会误导法线预测。于是交替优化：

1. 修 SMPL——优化 $\theta,\beta,t$ 让渲染的 body 法线 $N^b$ 与预测穿衣法线 $\hat N^c$ 对齐，同时匹配轮廓：

$$L_{SMPL}=\min_{\theta,\beta,t}\big(\lambda_{N_{diff}}L_{N_{diff}}+L_{S_{diff}}\big),\quad L_{N_{diff}}=|N^b-\hat N^c|,\ L_{S_{diff}}=|S^b-\hat S^c|\qquad(4,5)$$

2. 再修法线——用修好的 SMPL 重新渲染 $N^b$，喂回 GN 得到更准的 $\hat N^c$。

如此反复，正背面法线都越来越可靠。

三、模块二：局部特征的隐式重建

对每个查询点 $P$，构造局部特征（Eq.6）：

$$F_P=\big[F_s(P),\ F^b_n(P),\ F^c_n(P)\big]$$

• $F_s(P)$：$P$ 到最近体表点 $P_b\in M$ 的有符号距离（SDF）；
• $F^b_n(P)$：$P_b$ 的重心坐标插值 body 法线；
  （这两项提供强正则，抵抗自遮挡）
• $F^c_n(P)$：从正/背面穿衣法线里、按 $P_b$ 是否可见挑出来的衣服法线：

$$F^c_n(P)=\begin{cases}\hat N^c_{front}(\pi(P)) & P_b\text{ 可见}\[2pt] \hat N^c_{back}(\pi(P)) & \text{否则}\end{cases}\qquad(7)$$

这里 $\pi(P)$ 是 3D 点到 2D 的投影。核心性质：$F_P$ 与全局身体姿态无关——这正是 OOD 鲁棒和数据高效的根因。

把 $F_P$ 喂进 MLP 隐函数 $IF$，输出 occupancy $\hat o(P)$，用 MSE 对 GT occupancy 训练；最后用快速表面定位算法（MONOPort 那套层级查询）从 3D occupancy 里提网格。这套"用法线积分出的查询特征、而不是直接回归 occupancy"的思路，就是所谓 normal-integrated query。

四、实验设置（一个公平的对比框架）

为了公平，论文把 PIFu、PaMIR 按 ICON 的架构"模拟"重实现（记作 PIFu*、PaMIR*），用完全相同的训练数据和超参：

• PIFu* : $f_{2D}(I,N)\to O$（只有 2D 图像编码器）
• PaMIR* : $f_{2D}(I,N),\,f_{3D}(V)\to O$（加 3D 体素编码器）
• ICON : $N,\gamma(M)\to O$（只有局部特征提取器 $\gamma$）

训练数据：450 个 RenderPeople 扫描（AGORA 子集），用 OpenGL / MonoPort 渲染出 138,924 个样本（弱透视、动态光照）。
测试数据：CAPE（未参与训练，考验泛化，切成 CAPE-FP 时装姿态 / CAPE-NFP 非时装姿态）+ AGORA-50（无域差）。
指标：Chamfer（均匀采点、双向）、P2S（单向，避开 CAPE 的洞）、Normal（渲染法线图 L2，抓高频细节）。

五、结果

A. vs SOTA（Table 2, cm；C=Chamfer, P=P2S, N=Normals）

方法	AGORA-50 C/P/N	CAPE-FP C/P/N	CAPE-NFP C/P/N	CAPE C/P/N
PIFu	3.453/3.660/0.094	2.823/2.796/0.100	4.029/4.195/0.124	3.627/3.729/0.116
PIFuHD	3.119/3.333/0.085	2.302/2.335/0.090	3.704/3.517/0.123	3.237/3.123/0.112
PaMIR	2.035/1.873/0.079	1.936/1.263/0.078	2.216/1.611/0.093	2.122/1.495/0.088
PIFu*	2.688/2.573/0.097	2.100/2.093/0.091	2.973/2.940/0.111	2.682/2.658/0.104
PaMIR*	1.401/1.500/0.063	1.225/1.206/0.055	1.413/1.321/0.063	1.350/1.283/0.060
ICON	1.204/1.584/0.060	1.233/1.170/0.072	1.096/1.013/0.063	1.142/1.065/0.066

两个关键观察：

• PaMIR* 在分布内（AGORA-50、CAPE-FP）甚至打得过 SMPL-X GT，但一到分布外（CAPE-NFP）就露馅——正说明它的全局编码器对姿态敏感；ICON 则稳。
• ICON 全面优于原始 SOTA 模型；而且训练数据缩到 12%（1/8x，56 个扫描） 就能达到 SOTA（论文图 6）。

B. 体法线引导

去掉 body-normal 条件（ICON_N†）CAPE 误差略升；去掉局部特征里的 body 法线 $F^b_n$（ICON w/o Fb_n）也变差（AGORA-50 Chamfer 1.259 vs 1.204）。定性地，体法线引导对被遮挡区域的法线预测帮助很大。

C. 局部 vs 全局特征

把 $F_P$ 换成 2-stack hourglass 的全局特征（感受野达图像 46%），CAPE-NFP 明显变差——坐实"全局特征伤 OOD 泛化"。

D. SMPL 噪声鲁棒性

喂扰动过的 SMPL-X 时 ICON 变差（AGORA-50 Chamfer 1.583）；但加上 body refinement（+BR） 回到 1.554，已和"用 GT SMPL 的 PaMIR*（1.674）"相当甚至更好。

感知研究（Table 3）

给被试看同一张图、二选一。参与者更喜欢基线方法的比例：PIFu* 30.9%、PIFuHD 22.3%、PaMIR* 26.6%（p 值 1e-33 ~ 1e-54）。也就是说 ICON 被判明显更真实。

六、应用

• in-the-wild：从 Pinterest 收集 200 张跑酷/运动/街舞/武术图（训练没见过），ICON 能处理极端姿态和出画裁剪，无需微调；
• 视频 → 可动画 avatar：逐帧用 ICON 重建网格 → 喂给改造版 SCANimate（按可见性给遮挡区降权，因为单图重建在观察区更可靠）→ 得到带个性化姿态相关衣物形变的可驱动 avatar。

七、结论与局限

两把钥匙：① 用 3D 身体模型正则 + 迭代优化该模型；② 用局部特征消除与全局姿态的虚假相关。

局限：
1. 宽松衣物离身体远时难重建（强身体先验的代价）；
2. 身体拟合严重失败时会连锁失败（小误差鲁棒，大误差不行）；
3. 训练是正交视角，对强透视有问题，会出不对称肢体 / 非解剖形状。

八、PIFu → PaMIR → ICON 一条线

• PIFu：pixel-aligned 特征 + depth → 细节强、全局特征、姿态敏感；
• PaMIR：pixel-aligned + SMPL 体素特征 → 加语义，但仍全局体编码 → OOD 姿态敏感；
• ICON：SMPL 引导法线 + 局部 SDF/法线特征 → 彻底去全局化 → 数据高效 + OOD 鲁棒；并把"法线积分"带进来（后续 ECON 把它做成显式法线积分）。
• 对服装重建 / 虚拟试衣：ICON 的隐式几何质量高、可驱动，但宽松衣物仍是软肋——这正是 ECON、服装-人体解耦类工作、以及部件分割补先验可以切入的点。

术语表 / Key Terms

• ICON — Implicit Clothed humans Obtained from Normals；本文方法名，"从法线获得隐式穿衣人体"
• local feature — 局部特征；只依赖查询点附近信息、与全局姿态无关
• global encoder — 全局编码器；产生对整体姿态敏感的特征（本文批评对象）
• normal map — 法线图
• clothed-body normal — 穿衣体法线（相对 body normal）
• body normal — 身体（SMPL）法线
• front / back normal — 正面 / 背面法线（观察侧 / 遮挡侧）
• SMPL / SMPL-X — 参数化人体模型（后者含手、脸）
• PyMAF — 一种单图人体 mesh 回归器，本文用来出初始 SMPL
• differentiable renderer (DR) — 可微渲染器（PyTorch3D），用于渲染法线图
• weak-perspective camera — 弱透视相机
• perceptual loss (VGG) — 感知损失；用 VGG 特征促细节
• pixel loss — 像素级损失（本文用 L1）
• silhouette — 轮廓 / 剪影
• signed distance function (SDF) — 有符号距离函数
• barycentric — 重心坐标（插值法线用）
• normal-integrated query — 法线积分查询；用 SDF + 法线构造查询特征（本文局部特征核心）
• occupancy field — 占据场
• implicit function (IF) — 隐式函数
• iso-surface — 等值面
• Marching Cubes — 从场里提网格的经典算法
• fast surface localization — 快速表面定位（MONOPort 的高效查询/采点）
• visibility-aware — 可见性感知（按 body 点可见性选 front/back 法线）
• self-occlusion — 自遮挡
• feedback loop — 反馈回路（修 SMPL ↔ 修法线交替）
• body refinement (BR) — 身体（SMPL）精修模块
• HPS (human pose and shape) — 人体姿态与形状估计
• spurious correlation — 虚假相关（姿态 ↔ 形状）
• out-of-distribution (OOD) — 分布外
• in-the-wild — 真实野外图像
• out-of-frame cropping — 出画 / 被裁剪（人体不完整入镜）
• reposing — 重摆姿态（隐式网格缺骨架，难做）
• animatable avatar — 可动画数字人
• pose-dependent cloth deformation — 姿态相关衣物形变
• SCANimate — 从扫描学可动画 avatar 的方法（本文改造版）
• Chamfer distance — 倒角距离
• P2S (point-to-surface) — 点到面距离
• normal error — 法线误差（渲染法线图 L2）
• ablation study — 消融实验
• perceptual study / catch trial — 感知（用户）研究 / 注意力校验试次
• perspective effect — 透视效应