VAE与扩散模型 - VAE 的出现

3 . VAE 的出现

假设我们想训练一个模型,让它生成猫的图片。

首先定义两个随机变量:

  • \(Z\):潜变量,可以理解为控制图像内容的一组隐藏数字。

  • \(X\):生成的图像。

潜变量 \(Z\) 通过神经网络 Decoder 得到用于生成图像的条件概率分布,生成图像 \(X\)。
你可能在想:既然已经有潜变量 \(Z\) ,为什么不直接让 Decoder 输出图像 \(X\) ?非要输出概率分布做什么?
在我的理解中,其实,这两种设计都可以,只是它们解决的问题有所不同。
先假设 Decoder 直接输出图像。\(z=0.5\) ,输入Decoder得到一个确定的像素值 \(x=100\)。这是普通自编码器的逻辑。但是,能够重建训练图像,不代表能够从随机采样的潜变量生成合理的新图像。假设 Encoder 只把真实图像映射到潜空间中的几个特定区域。那么我们随便采样一个从未使用过的潜变量 \(z\),它可能落在 Encoder 从未使用过的区域,Decoder 生成的图像就可能没有意义。最大似然估计希望模型给真实观察到的数据分配较高的概率,从而学习真实数据的统计规律。

VAE 就可以让 Decoder 输出一个概率分布的参数。例如:\(p_\theta(x\mid z)=\mathcal N(x;\mu_\theta(z),\sigma^2)\)
假设输入 \(z=0.5\) 后,Decoder 输出:\(\mu_\theta(0.5)=128\) , 并且假设标准差为:\(\sigma=5\)
于是:\(P(X\mid Z)=0.5\sim\mathcal N(128,25)\)
这意味着,给定潜变量 \(z=0.5\),模型认为像素值在 128 附近更加集中,离 128 越远,概率密度通常越低。这就是,,概率啊!!!

我们知道:\(p_\theta(x)=\int p_\theta(x,z)\,dz\),\(p_\theta(x,z)=p_\theta(x\mid z)p(z)\)
所以 \(p_\theta(x)= \int p_\theta(x\mid z)p(z)dz\) 一张图像可能由许多不同的潜变量产生,所以要考虑所有可能的 \(z\),将它们对图像 \(x\) 的贡献加起来。因为最大似然训练希望提高真实训练图像在整个生成模型下的似然。这条公式考虑了从先验分布采样到不同 \(z\) 后,模型产生图像 \(x\) 的所有可能途径。

出现了困难:对于复杂的神经网络,我们通常无法直接精确计算这个积分。
因为要考虑所有可能的潜变量 \(z\),而且每一个 \(z\) 对应的条件概率密度都需要通过 Decoder 计算。
于是我们换一个思路:既然已经知道真实图像 \(x\) ,能不能反过来推断它可能对应哪些潜变量 \(z\) ?\(p_\theta(z\mid x)\) 出现了(后验分布)。
根据贝叶斯公式:\(p_\theta(z\mid x) =\frac{p_\theta(x\mid z)p(z)}{p_\theta(x)}\),分母恰恰是我们难以计算的 \(p_\theta(x)\)。所以,真实后验分布通常也很难直接求出来。
我们需要一个结果不随 \(z\) 变化而变化的一种计算策略!
天无绝人之路!VAE提出了它的解决方法。
建立 \(q_\phi(z\mid x)\) ,\(q_\phi(z\mid x)\approx p_\theta(z\mid x)\) 。\(p_\theta(x)=\int p_\theta(x,z)\,dz=\int \frac {p_\theta(x,z)q_\phi(z\mid x)}{q_\phi(z\mid x)}dz\)
这公式是不是有点熟悉?没错,\(E[f(X)]=\int p(x)f(x)\,dx\) 。
所以 \(p_\theta(x)= \int \underbrace{\frac{p_\theta(x,z)}{q_\phi(z\mid x)}}_{f(z)} \underbrace{q_\phi(z\mid x)}_{p(z)} \,dz= \mathbb E_{q_\phi(z\mid x)} \left[ \frac{p_\theta(x,z)}{q_\phi(z\mid x)} \right]=\mathbb E_{q_\phi(z\mid x)} \left[ \frac{p_\theta(x\mid z)p_\theta(z)}{q_\phi(z\mid x)} \right]\)
可以理解成:固定图像 \(x\),从 Encoder 给出的 \(q_\phi(z\mid x)\) 中采样潜变量 \(z\),计算括号里的比值,再按照这个分布求期望。而 VAE 接下来要做的,就是对这个期望取对数,再利用 Jensen 不等式推导 ELBO。
\(\log p_\theta(x)= \log\mathbb E_{q_\phi(z\mid x)} \left[\frac{p_\theta(x,z)}{q_\phi(z\mid x)}\right]\geq \mathbb E_{q_\phi(z\mid x)} \left[ \log\frac{p_\theta(x,z)}{q_\phi(z\mid x)} \right]=\mathbb E_{q_\phi(z\mid x)} \left[ \log\frac{p_\theta(x\mid z)p_\theta(z)}{q_\phi(z\mid x)} \right]\)
可以通过使 \(\mathbb E_{q_\phi(z\mid x)} \left[ \log\frac{p_\theta(x\mid z)p_\theta(z)}{q_\phi(z\mid x)} \right]\) 最大来逼近 \(\log p_\theta(x)\) 的最大值。这个操作叫做变分下界VLB(Variational Lower Bound)或者证据下界(ELBO,Evidence Lower Bound)。
我们要使损失函数\(\mathcal L= -\mathbb E_q\left[ \log\frac{p_\theta(x\mid z)p(z)}{q_\phi(z\mid x)} \right]\) 最小化。(为了方便阅读,这里将 \(q_\phi(z\mid x)\) 简写成 \(q\) ,但期望仍然按照该分布计算)
\(\mathcal L= -\mathbb E_q\left[ \log\frac{p(z)}{q_\phi(z\mid x)} + \log p_\theta(x\mid z) \right]= \mathbb E_q\left[ -\log\frac{p(z)}{q_\phi(z\mid x)} - \log p_\theta(x\mid z) \right]\)
再利用:
\(-\log\frac AB=\log\frac BA\)
就得到:

\[\begin{aligned} \mathcal L &=\mathbb E_q\left[ \log\frac{q_\phi(z\mid x)}{p(z)} -\log p_\theta(x\mid z) \right]\\ &=\underbrace{ \mathbb E_q[-\log p_\theta(x\mid z)] }_{\text{重建损失}} +\underbrace{ \mathbb E_q\left[ \log\frac{q_\phi(z\mid x)}{p(z)} \right] }_{\text{KL 散度}} \end{aligned} \]

第一项:
如果条件概率密度较高,就说明这个 \(z\) 能让 Decoder 较好地解释它。鼓励潜变量 \(Z\) 保留有关输入图像 \(X\) 的信息。
第二项:
VAE 真正生成新图片时是怎么做的:\(z\sim p(z)\),然后通过 Decoder 生成图像。
但训练期间,Decoder 接触的 (z) 主要来自:\(z\sim q_\phi(z\mid x)\)
这里就出现了问题:
训练时使用的潜变量来自 Encoder,而生成时使用的潜变量来自先验分布。
如果它们相差太远,Decoder 在训练时学到的生成规律就可能无法很好地应用到生成阶段。因此 KL 损失希望:\(q_\phi(z\mid x)\approx p(z)\)。
第二项实际上是在约束潜变量分布,使从先验分布采样生成图像变得更加可靠。

这两项看起来是矛盾的,所以让他们共同参与优化,寻找合适的权衡,既能利用潜变量重建图像,又能从先验分布采样生成新图像。KL 散度并不是要求所有图像的潜变量分布完全相同。它只是对这些分布施加约束。标准 VAE 在整个训练集上最小化重建损失与 KL 损失之和,通过共同优化找到合适的解。
如果 KL 项过度主导训练,使 Decoder 几乎不再使用潜变量 \(z\),还可能发生一种现象,叫作 后验坍塌(Posterior Collapse)。

posted @ 2026-11-09 13:49  理塘小马守护者丁真  阅读(14)  评论(0)    收藏  举报