二、 扩散模型（Diffusion Model）的训练过程

目录

• 1. 前向过程与反向过程
• 2. 扩散模型的训练过程
  • 训练过程第2步
  • 训练过程第3，4步
  • 训练过程第5步
  • 训练过程伪代码
• 3. 为什么可以从0时刻的图片\(\mathbf{x}_0\)直接生成t时刻的图片\(\mathbf{x}_t\)?
  • 从 \(\mathbf{x}_{t-1}\) 到 \(\mathbf{x}_t\)
  • 从 $\mathbf{x}_{0} $到 \(\mathbf{x}_t\)
  • 概率密度函数 \(q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right)\) 以及 \(q\left(\mathbf{x}_t \mid \mathbf{x}_0\right)\)

以下内容参考了Lil'Log 和李宏毅老师的课程

对于任何一个模型，都会分为两个过程：这篇文章主要聚焦于扩散模型的训练过程，而后面的文章将会聚焦于扩散模型的测试过程。

1. 前向过程与反向过程

训练过程中，我们需要向不含任何噪音的图片\(\mathbf{x}_0\)中加噪，是从到，再到的过程。这个过程称为前向过程，也叫做扩散过程。

测试过程中，我们需要从一个全是噪音的图片\(\mathbf{x}_T\)开始，逐渐降噪，最终生成想要的图片，是从到，再到的过程。这个过程称为反向过程，也叫做逆扩散过程。

为什么向图片中加噪叫做扩散过程？

想象一滴墨水倒在了水中，这滴墨水会在水中逐渐扩散，最终化在水中。

这个过程也可以理解为墨水从有序变得无序的过程。

同样的，如果我们有一张图片，那么我们可以向图片中添加噪音，使得图片从有序变得无序

就像墨水在水中扩散一样，因此叫做扩散过程。

2. 扩散模型的训练过程

训练过程的目的是：训练出一个可以预测噪音的模型Noise Predicter。训练结束后，使用Noise Predicter，可以生成我们想要的图片。

在论文中，扩散模型的训练过程如下

训练过程第2步

• 目的：

  生成一张不带任何噪音的图片\(\mathbf{x}_0\)。

  例如，下图中，红色框的图片就是不带任何噪音的图片。

  

• 公式讲解：

  \(q(\mathbf{x}_0)\)表示\(\mathbf{x}_0\)的满足的分布为\(q(\mathbf{x}_0)\)，因此\(\mathbf{x}_0\sim q(\mathbf{x}_0)\)表示从分布\(q(\mathbf{x}_0)\)中抽取一张图片\(\mathbf{x}_0\)。

若\(t\)时刻的图片为\(\mathbf{x}_t\)，那么\(\mathbf{x}_0\)是不带任何噪音的图片；\(\mathbf{x}_T\)是完全是噪音的图片，从\(\mathbf{x}_0\)到\(\mathbf{x}_T\)，图片中的噪音逐渐增加

训练过程第3，4步

• 目的：

  从\([1,T]\)中随机抽取一个时刻\(t\)；并且从标准正态分布中，采样出噪音\(\boldsymbol {\epsilon}\)

• 公式讲解：

  \(t \sim \operatorname{Uniform}(\{1, \ldots, T\})\)表示从1到\(T\)的均匀分布中采样出一个\(t\)；\(\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\)从标准正态分布中，采样出噪音\(\boldsymbol {\epsilon}\)。因为噪音\(\boldsymbol {\epsilon}\)是一个矩阵，所以在公式\(\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\)中，\(\mathbf{0}\)表示零矩阵，\(\mathbf{I}\)表示单位矩阵。

训练过程第5步

• 目的：

  计算损失函数关于参数\(\theta\)的梯度，从而更新参数参数\(\theta\)

• 公式讲解：

  • \(\sqrt{\bar{\alpha}_t} \mathbf{x}_0+\sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}\)表示\(t\)时刻的图片\(\mathbf{x}_t\)，其中\(\bar{\alpha_t}\)是一个常量。

    可以看到，这和我们上一篇文章中说的不太一样，对于\(\mathbf{x}_t\)的生成，不需要一步一步的从\(\mathbf{x}_0\)是生成\(\mathbf{x}_1\) ,从\(\mathbf{x}_1\)生成\(\mathbf{x}_2\) ...从\(\mathbf{x}_{t-1}\)生成\(\mathbf{x}_t\)，而是可以直接从\(\mathbf{x}_0\)生成\(\mathbf{x}_t\)。

    

  • \(\boldsymbol{\epsilon}_\theta\)就是上一篇文章说的Noise Predicter，即预测噪声的模型。

    它有两个输入：\(t\)时刻的图片\(\mathbf{x}_t\)（\(\mathbf{x_t} = \sqrt{\bar{\alpha}_t} \mathbf{x}_0+\sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}\)），以及时刻\(t\)。

    它的输出是：对噪音\(\boldsymbol{\epsilon }\)的预测值，记作\(\hat{\boldsymbol{\epsilon }}\)。

    Noise Predicter的输出也和上一篇文章不太一样。由于可以从\(\mathbf{x}_0\)直接生成\(\mathbf{x}_t\)，因此Noise Predicter的输出变成了从 0 时刻到 \(t\) 时刻，加入的噪音总和 \(\hat{\boldsymbol{\epsilon }}\) ；而不再是从 \(t-1\) 时刻到 \(t\) 时刻加入的噪音。

  • \(\left\|\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_\theta\left(\sqrt{\bar{\alpha}_t} \mathbf{x}_0+\sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}, t\right)\right\|^2\)，也就是\(||\boldsymbol{\epsilon}-\hat{\boldsymbol{\epsilon}}||^2\)，表示模型的损失函数是均方误差损失，可以记作\(L_t\)。

  • \(\nabla_\theta\left\|\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_\theta\left(\sqrt{\bar{\alpha}_t} \mathbf{x}_0+\sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}, t\right)\right\|^2\)，也就是\(\frac{\partial L_t}{\partial \theta}\)，表示损失函数\(L_t\)对参数\(\theta\)的梯度。

训练过程伪代码

训练过程的伪代码如下：

while True:
	# 第2步
	挑出一张没有噪音的图片x_0
    
	# 第3步
	在[1,T]中，随机选出一个时刻t
    
	# 第4步
	生成一个噪音ε
    
	# 第5步
    生成t时刻的图片x_t
	y_pred = ε_θ(x_t,t) # 预测噪音的模型是ε_θ，y_pred为ε_θ输出的预测值
	y = ε # 真实值是噪音ε
	loss = (y-y_pred)**2
	计算loss关于参数θ的损失
	更新参数θ
    
    # 第6步
    if 模型ε_θ 已经收敛: 
        break

3. 为什么可以从0时刻的图片\(\mathbf{x}_0\)直接生成t时刻的图片\(\mathbf{x}_t\)?

从 \(\mathbf{x}_{t-1}\) 到 \(\mathbf{x}_t\)

设\(t\)时刻的图片为\(\mathbf{x}_t\)，\(t-1\)时刻的图片为\(\mathbf{x}_{t-1}\)，\(t-1\)时刻向\(t\)时刻加入的噪音为\(\boldsymbol{\epsilon}_{t}\)，并且假设\(\boldsymbol{\epsilon}_{t}\sim N(0,1)\)，扩散模型规定，将噪音\(\boldsymbol{\epsilon}_{t}\)加入到图像\(\mathbf{x}_{t-1}\)中的公式为：

\[\mathbf{x}_t = \sqrt{1-\beta_t} \times {\mathbf{x}_{t-1}}+\sqrt{\beta_t} \times \boldsymbol{\epsilon}_{t-1} \tag{1} \]

其中\(\beta_t\)是一个常数，并且从\(t=0\)到\(t=T\)，\(\beta_t\)的值逐渐增大。这代表着，从\(t=0\)到\(t=T\)，向图片中增加的噪音越来越多。

若一开始的清晰的图片为\(\mathbf{x}_0\)，根据公式（1），我们就可以逐步加噪，最终生成充满噪音的图片\(\mathbf{x}_T\)。

从 $\mathbf{x}_{0} $到 \(\mathbf{x}_t\)

考虑这样一个问题，如果逐步迭代：根据\(\mathbf{x}_0\)计算\(\mathbf{x}_1\)，根据\(\mathbf{x}_1\)计算\(\mathbf{x}_2\)，...，这样的速度也太慢了。

所以，我们可以考虑简化一下公式，最好是能够推导出直接从\(\mathbf{x}_0\)生成\(\mathbf{x}_T\)的公式。

我们将常数\(\beta_t\)换一种表达方式，令\(\alpha_t = 1-\beta_t\)，那么根据公式（1），我们可以得到

\[\begin{align} \mathbf{x}_t&=\sqrt{\alpha_t} \times \mathbf{x}_{t-1} + \sqrt{1-\alpha_t} \times \boldsymbol{\epsilon_t} \tag{2}\\ \mathbf{x}_{t-1}&=\sqrt{\alpha_{t-1}} \times \mathbf{x}_{t-2} + \sqrt{1-\alpha_{t-1}} \times \boldsymbol{\epsilon_{t-1}} \tag{3} \end{align} \]

将公式（3）带入到公式（2）中，可以得到

\[\begin{aligned} \mathbf{x}_t&=\sqrt{\alpha_t} \times\left(\sqrt{\alpha_{t-1}} \times \mathbf{x}_{t-2} + \sqrt{1-\alpha_{t-1}} \times \boldsymbol{\epsilon_{t-1}} \right)+\sqrt{1-\alpha_t} \times \boldsymbol\epsilon_t\\ &=\sqrt{\alpha_t \alpha_{t-1}} \times \mathbf{x}_{t-2}+\sqrt{\alpha_t\left(1-\alpha_{t-1}\right)} \boldsymbol{\epsilon}_{t-1}+\sqrt{1-\alpha_t} \times \boldsymbol{\epsilon}_t \end{aligned} \]

因为\(\boldsymbol{\epsilon}_{t}\sim N(0,1)\)，\(\boldsymbol{\epsilon}_{t-1}\sim N(0,1)\)，因此，\(\left[\sqrt{\alpha_t\left(1-\alpha_{t-1}\right)} \boldsymbol{\epsilon}_{t-1}+\sqrt{1-a_t} \times \boldsymbol{\epsilon}_t\right]\sim N\left(0,1-\alpha_t \alpha_{t-1}\right)\)

如果我们另设一个噪音\(\boldsymbol{\epsilon}\sim N(0,1)\)，那么\(\sqrt{1-\alpha_t \alpha_{t-1}} \boldsymbol{\epsilon}\sim N(0,1-\alpha_t \alpha_{t-1})\)

因此，我们可以令\(\left[\sqrt{\alpha_t\left(1-\alpha_{t-1}\right)} \boldsymbol{\epsilon}_{t-1}+\sqrt{1-a_t} \times \boldsymbol{\epsilon}_t\right] = \sqrt{1-\alpha_t \alpha_{t-1}} \boldsymbol{\epsilon}\)​

上面这种改写方式被称为“重参数化技巧”。

于是可以得到从\(\mathbf{x}_{t-2}\)得到\(\mathbf{x}_t\)的公式

\[\mathbf{x}_t=\sqrt{\alpha_t \alpha_{t-1}} \times \mathbf{x}_{t-2}+\sqrt{1-\alpha_t \alpha_{t-1}} \boldsymbol{\epsilon} \]

不断重复上面的过程，最终我们可以得到从\(\mathbf{x}_0\)到\(\mathbf{x}_t\)的公式

\[\mathbf{x}_t=\sqrt{\bar{\alpha}_t} \times \mathbf{x}_0 +\sqrt{1-\bar{\alpha}_t} \times \boldsymbol\epsilon\tag{4} \]

其中，\(\bar{\alpha}_t=\alpha_t \alpha_{t-1} \alpha_{t-2} \alpha_{t-3} \ldots \alpha_2 \alpha_1 = \prod_{i=1}^{t}\alpha_i\)，\(\boldsymbol\epsilon\sim N(0,1)\)。

至此，我们得到前向过程的公式，即公式（4）

我们前面说过，\(\beta_1<\beta_2<\cdots<\beta_T\),因此\(\bar{\alpha}_1>\cdots>\bar{\alpha}_T\)。当\(t=T\)时，\(\bar{\alpha}_T \approx 0\)，\(\mathbf{x}_T \approx \boldsymbol\epsilon\)，即\(\mathbf{x}_T\)可以近似认为服从标准正态分布。

概率密度函数 \(q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right)\) 以及 \(q\left(\mathbf{x}_t \mid \mathbf{x}_0\right)\)

根据公式（1），我们可以得到，在前向过程中，在已知\(\mathbf{x}_{t-1}\)的条件下，\(\mathbf{x}_t\)的概率密度函数\(q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right)=\mathcal{N}\left(\mathbf{x}_t ; \sqrt{1-\beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I}\right)\)

根据公式（4），我们可以得到，在前向过程中，在已知\(\mathbf{x}_{0}\)的条件下，\(\mathbf{x}_t\)的概率密度函数\(q\left(\mathbf{x}_t \mid \mathbf{x}_0\right)=\mathcal{N}\left(\mathbf{x}_t ; \sqrt{\bar{\alpha}_t} \mathbf{x}_0,\left(1-\bar{\alpha}_t\right) \mathbf{I}\right)\)

\(\mathcal{N}\left(\mathbf{x}_t ; \sqrt{\bar{\alpha}_t} \mathbf{x}_0,\left(1-\bar{\alpha}_t\right) \mathbf{I}\right)\)表示随机变量为\(\mathbf{x}_t\)，均值为\(\sqrt{\bar{\alpha}_t} \mathbf{x}_0\)，方差为\(\left(1-\bar{\alpha}_t\right) \mathbf{I}\)的正态分布。