论文选读

CLASSIFIER-FREE DIFFUSION GUIDANCE

摘要

Classifier guidance is a recently introduced method to trade off mode coverage and sample fidelity in conditional diffusion models post training

分类器引导可以权衡模式覆盖度和样本保真率。

模式覆盖度：指模型生成的样本能够涵盖目标分布中各种不同的模式或类别。

样本保真率：指生成的样本与真实数据在视觉、语义或其他相关特征上的相似程度和准确性。

权衡这两者做到高样本保真率，并且生成的样本要尽可能多样，而不是局限在单一模式。

low temperature sampling or truncation

低温度采样：低温度会使高概率的特征的概率更高，而低概率的则更低。

截断：只截取概率前k大的可能。

类似于其他生成模型的低温度采样和截断方法，分类器引导需要结合扩散模型的梯度估计和图像分类器的梯度（ score estimate of a diffusion model with the gradient of an image classifier）来实现，因此这就需要单独训练一个分类器。

引出了一个问题，是否可以不通过分类器引导，只是单纯的生成模型。

jointly train a conditional and an unconditional diffusion model

combine the resulting conditional and unconditional score estimates

联合训练了一个条件扩散模型和无条件扩散模型，结合条件和无条件的分数估计，得到类似分类器引导实现样本质量和多样性的权衡。

引入

Prior to classifier guidance, it was not known how to generate “low temperature” samples from a diffusion model similar to those produced by truncated BigGAN

GAN：生成对抗网络

由两部分组成，生成器（Generator）和判别器（Discriminator），生成器负责生成尽可能逼真的假样本（例如图像），判别器则要区分输入的样本是来自真实数据集还是由生成器生成的假样本。二者相互博弈、不断优化，最终生成器能生成以假乱真的样本。

最后生成的样本可以兼顾保真率和多样性。

在分类器引导之前，我们不知道如何用扩散模型生成与BigGAN截断方法类似的低温度的样本。

分类器引导讲扩散模型的分数估计和分类器的输入梯度对数概率混合起来，

结论

无分类器引导在扩散模型中可以提高生成样本的质量并且降低样本多样性。

Deep Unsupervised Learning using Nonequilibrium Thermodynamics

使用非平衡热力学方法的无监督深度学习

摘要

机器学习中一个核心问题就是使用高度灵活的概率分布族来给复杂问题建模，其中分析、采样、推理和计算要是可分析的且可操作的。

本文提出了一种方法同时具备灵活性和可操作性。受到非平衡统计物理学的启发，通过一个迭代正向扩散过程来系统性的缓慢的破坏数据分布中的结构。然后学习一个反向扩散过程恢复数据的结构，产生一个高度灵活和可操作的数据生成模型。这种方法能快速的学习、采样和评估具有数千层或数千步的深度生成模型，并在学习到的模型下计算条件概率和后验概率。

\[\begin{aligned} \pi\left(\mathbf{y}\right) & =\int d\mathbf{y}^{\prime}T_\pi\left(\mathbf{y}|\mathbf{y}^{\prime};\beta\right)\pi\left(\mathbf{y}^{\prime}\right) & (1) \\ q\left(\mathbf{x}^{(t)}|\mathbf{x}^{(t-1)}\right) & =T_\pi\left(\mathbf{x}^{(t)}|\mathbf{x}^{(t-1)};\beta_t\right). & (2) \end{aligned} \]

Test-Time Training

Test-Time Scaling