大模型 Diffusion

大模型 Diffusion，也就是扩散模型，是一种生成式模型，能依据训练数据的模式和规律生成新的数据样本，在图像、音频、文本等多个领域都有应用123。

它的工作原理可以理解为两个过程2：

• 前向扩散过程：从干净的原始数据样本开始，比如一张图像，通过一系列时间步，逐步向其添加少量高斯噪声，直到原始信号几乎被噪声完全淹没，变成纯粹的高斯噪声。这个过程就像把一幅清晰的画逐渐用噪点覆盖，最后变成一片随机的噪点图。
• 反向去噪过程：训练一个神经网络来学习如何逆转前向加噪过程。从纯粹的高斯噪声开始，迭代地应用学习到的去噪步骤，每次去除一部分噪声，逐渐将噪声 “雕琢” 成结构清晰、内容连贯的样本，就像从一片混乱的噪点中慢慢还原出一幅有意义的画。

简单来说，Diffusion 模型就像一个能把随机噪声变成我们想要的数据（如图片、音频等）的工具，它通过先 “破坏” 数据再 “重建” 数据的方式，学习数据的内在结构和模式，从而生成新的、类似原始数据的样本3