记录一下关于扩散模型自己的些许笔记

引用于公众号“孙兵兵 2025”所发布的微信公众号文章；

1、DDPM只能处理扩散步数为离散的情形。数学上，更优美的方法是采用随机微分方程SDE构建扩散模型的理论框架。随机微分方程来源于布朗运动；
　　布朗运动起源于1827奶奶苏格兰植物学家 罗伯特-布朗在显微镜观察悬浮在水中的花粉颗粒时，首次系统地记录了这种微粒无休止、不规则的运动现象。

　　后来，1905年，爱因斯坦指出，布朗运动的根源在于水分子的热运动。悬浮的微粒在同一时刻会受到来自四面八方、数量巨大水分子的不断碰撞。由于分子运动的随机性，这些碰撞在任何一个瞬间都无法完全相互抵消，导致微粒受到的瞬时合力不为零且方向随机，从而产生了我们观察到的不规则运动。

 

2、从拉格朗日视角来看，单个粒子的随机轨迹（对于扩散模型而言，对应我们对单个图像如何处理）；

 

另一个视角：问，在空间任意一点x处，粒子的浓度（或概率密度）如何随时间演化？（对于扩散模型而言，对应数据的分布如何演化），给出了宏观的扩散方程。

 

3、关于确定性系统与随机系统的对比：

 

1. 确定性系统是“守恒”的：想象一滴墨水滴入一个完美流动的、不会混合的液体中。这滴墨水会随着液体的流动而整体移动、变形，但它永远不会自己“化开”。它的密度分布由连续性方程主导，总的“墨水”量是守恒的。这类行为遵守物理学中的刘维尔方程，描述了在保守系统中相空间体积的守恒。

2. 随机系统是“耗散”的：现在，想象将一滴墨水滴入一杯静止的清水中。由于水分子的布朗运动，墨水会不可逆转地向四周扩散，直到均匀分布在整杯水中。这个过程由福克-普朗克方程主导，其核心是扩散项 。扩撒项总是倾向于“削峰填谷”，将集中的概率密度抹平，使系统走向更无序、更不确定的状态。这是一个典型的耗散过程，与热力学第二定律中熵增的原理是一致的。

 

这种从“确定”到“随机”的类比，极大地帮助我们理解了扩散过程的本质。而扩散生成模型的全部威力，就在于学习如何逆转这个耗散过程——即学习一个能够抵消扩散效应的漂移场 ，从而将一团毫无信息的噪声（均匀分布）“凝聚”成具有复杂结构的数据（目标分布）。