Variational Bayes

平均场理论（Mean Field Method）：举个简单的例子就是，平面上有很多的电荷，我们想研究这些电荷对电荷A的影响，我们不必一个一个电荷去研究这些电荷对电荷A的影响，我们可以考虑这些电荷组成的一个整体，而这个整体可以被等效为一个电荷，然后直接研究这个等效电荷对电荷A的影响，这就大大简化了分析和计算复杂度。

 

Kullback-Leibler散度:

 

 

 

 

 

指数分布族(exponntial family)

指数分布族的密度函数：

琴生不等式：

 

KL距离公式：