LDM - 将图像在底层潜空间中生成并映射到原空间

Latent Diffusion Models (LDM) 核心技术文档

论文标题：High-Resolution Image Synthesis with Latent Diffusion Models
作者：Rombach 等 (CompVis, LMU Munich & Runway ML)
发表：CVPR 2022 (arXiv:2112.10752)
历史地位：Stable Diffusion 的直接奠基之作

1. 研究背景与核心动机

在 LDM 提出之前，扩散模型（Diffusion Models）已在图像生成领域取得领先效果，但存在致命短板：计算成本过高。

• 训练最先进的像素级扩散模型通常需要 150–1000 个 V100 GPU 天；
• 推理生成 5 万张图片约需 5 天（单张 A100）；
• 每一步去噪都要在高维 RGB 像素空间上进行神经网络求值和梯度回传。

论文分析指出，图像的绝大部分比特属于人眼不敏感的高频细节，而似然模型（likelihood-based models）会将大量容量和算力浪费在这些“感知无关”的信息上。基于此观察，论文提出将图像生成过程拆解为两个阶段：

1. 感知压缩（Perceptual Compression）：去除高频不可见细节；
2. 语义压缩（Semantic Compression）：学习数据的概念组合。

核心动机：若能将扩散模型从像素空间“搬迁”到更低维的潜在空间，即可在保持画质的前提下大幅降低训练和推理成本。

2. 总体架构

LDM 由三个可独立训练的模块组成：

模块	功能	实现方式
感知压缩模型（Autoencoder）	图像 ↔ 潜空间互相转换	预训练的 VAE（含 KL 正则或 VQ 正则）
去噪扩散模型（UNet）	在潜空间中进行去噪生成	时间条件 UNet（εθ）
条件编码器（Conditioning Encoder）	将外部条件注入生成过程	Transformer + Cross-Attention（τθ）

前两个模块负责“搬进搬出”和“画画”，第三个模块负责“听谁的话”。

3. 关键技术点详解

3.1 感知压缩：如何搬进潜空间

• 编码器 E 将 RGB 图像 x 压缩为潜表示 z = E(x)，下采样因子为 f = H/h = W/w；
• 解码器 D 将潜表示重建为图像 x̃ = D(z)；
• 训练目标为 感知损失 + Patch-based 对抗损失，确保重建图像清晰、不模糊，而非仅优化像素级 L1/L2 误差。

关键结论：LDM 保留了潜空间 z 的二维空间结构（不拉成一维序列），因此可以采用较温和的压缩率（f=4 或 f=8），重建保真度远高于此前 VQGAN / DALL-E 的激进压缩方案。

3.2 潜空间中的去噪过程（怎么画）

• 前向过程：对潜变量 z 逐步添加高斯噪声，形成固定马尔可夫链；

• 反向过程：训练 UNet εθ(z_t, t) 预测当前步添加的噪声 ε，损失函数为：

  L_DM = E[ || ε − εθ(z_t, t)||² ]

• 推理过程：从纯噪声潜变量开始，逐步预测并去除噪声（重复 50–1000 步），最后将去噪完毕的潜变量 z 一次性输入解码器 D，生成高清图像。

需要特别澄清：模型并非“从模糊变清晰”，而是通过反复估计当前画面中的噪声形态并予以擦除，使图像从噪声中逐步“浮现”。去噪的核心能力是“辨识噪声”，而非“增强画质”。

3.3 条件控制机制：Cross-Attention（怎么听指挥）

为了让 LDM 支持文字、布局框等多种条件输入，论文设计了通用的 Cross-Attention（交叉注意力） 注入机制：

1. 条件编码器 τθ（如文本 Transformer）将输入条件 y 编码为中间表示 τθ(y)；
2. 该表示作为 K（Key） 和 V（Value），注入 UNet 的中间层；
3. UNet 当前层的特征作为 Q（Query），通过 Attention(Q,K,V) 计算每个空间位置与条件中每个 token 的相关性；
4. 相关性越高，该位置的生成越受对应 token 的影响。

这一设计极为通用：文本、类别标签、语义布局图、低分辨率图像等均可通过对应的 τθ 接入同一套架构，无需为每个任务重新设计模型。

4. 关键实验与核心发现

4.1 下采样因子 f 的消融实验（本文最重要的工程结论）

论文系统比较了 f ∈ {1, 2, 4, 8, 16, 32}，其中 f=1 即像素级扩散（基线）。

f 取值	效果
1–2	压缩不足，训练极慢，算力浪费严重
4–8	最佳平衡区——速度与保真度兼得
16–32	压缩过狠，首阶段丢失关键细节，生成质量上限被锁死

训练 200 万步后，LDM-1 与 LDM-8 的 FID 差距高达 38 分，证明了合适压缩率的必要性。

4.2 主要定量结果（选录）

任务	模型	FID	备注
ImageNet 256² 类条件生成	LDM-4-G（带引导）	3.60	超越 ADM-G，参数更少
CelebA-HQ 256² 无条件生成	LDM-4	5.11	刷新当时 SOTA
ImageNet 64→256 超分	LDM-SR	2.8–4.8	优于 SR3，推理快 15 倍
Places 512² 图像修复	LDM-4 (big, ft)	9.39	超越 LaMa 等专用模型
MS-COCO 文生图	LDM-KL-8-G	12.63	接近 4B 参数量级模型，仅用 1.45B 参数

4.3 其他重要能力

• 卷积式生成大图：由于 UNet 基于卷积（非 Transformer），模型在 256² 训练后可直接在 512²–1024² 上以滑动窗口方式推理，生成连贯的大尺寸图像。
• “无分类器引导”（Classifier-Free Guidance）：推理时通过放大“有条件生成”与“无条件生成”的差值，可显著提升图像对条件的忠实度（代价是多样性下降）。该技术后被 Stable Diffusion 继承为“CFG Scale”滑块。

5. 核心优势与创新价值总结

1. 大幅降低算力门槛：将扩散模型从像素空间搬到潜空间，训练和推理成本均降低一个数量级，单张消费级 GPU 即可运行。
2. 找到压缩率的帕累托最优：通过系统消融，证明 f=4–8 是最佳下采样区间，兼顾效率与质量。
3. 两阶段解耦，基础设施复用：VAE 自编码器训练一次后，可被所有下游任务（文生图、超分、修复、布局生成等）共用，边际成本极低。
4. 通用条件接口：Cross-Attention 让同一套架构无缝支持文本、类别、布局、图像等多种条件输入，无需任务专用设计。
5. 催生了 Stable Diffusion：LDM 的开源实现和预训练权重直接启发了 Stable Diffusion 的诞生，使高质量文生图从工业界“飞入寻常百姓家”。

6. 已知局限性与待改进方向

论文明确承认以下不足：

• 推理速度仍慢于 GAN：尽管比像素扩散快得多，但需迭代 50–200 步，无法满足实时生成需求；
• 自编码器是质量天花板：若 VAE 压缩时丢失了关键结构（如小物体、细纹理），扩散模型无法在解码时恢复；
• 高分辨率泛化需微调：从 256² 直接推理 1024² 时会出现质量下降，需在高分辨率数据上短暂微调以适配新的信号噪声比；
• 社会风险：易被用于深度伪造、虚假信息传播，且可能泄露训练数据或放大数据集中已有的偏见。

7. 总结

LDM 的核心贡献并非发明新的去噪算法，而是为扩散模型找到了更合适的运算空间。它用工程化的方式解决了扩散模型“算不起”的根本难题，并通过 Cross-Attention 将其扩展为通用的条件生成框架。该工作兼具理论洞察与工程落地价值，是 2022 年以来图像生成领域最具影响力的工作之一。