变分推断

变分的实质：用简单的分布q去近似复杂的分布p。

why

大多数情况下后验分布很难求啊。（如果后验概率好求解的话我们直接EM就搞出来了）

当后验分布难于求解的时候我们就希望选择一些简单的分布来近似这些复杂的后验分布，至于这种简单的分布怎么选，有很多方法比如：Bethe自由能，平均场定理。而应用最广泛的要数平均场定理。

因为它假设各个变量之间相互独立砍断了所有变量之间的依赖关系。比喻整个军队没有什么战术配合的情况下军队的战斗力可以由这些单兵的战斗力来近似这是变分的思想。

当求解Inference问题的时候相当于积分掉无关变量求边际分布，如果变量维度过高，积分就会变得非常困难，而且你积分的分布p又可能非常复杂因此就彻底将这条路堵死了。采用平均场就是将这种复杂的多元积分变成简单的多个一元积分，而且我们选择的q是指数族内的分布，更易于积分求解。如果变量间的依赖关系很强怎么办？那就是structured mean field解决的问题了。

 过程

说到这里我们就知道了为什么要用变分，那么怎么用？ 

过程很简单，推导很复杂。

整个过程只需要：

1、根据图模型写出联合分布

2、写出mean filed 的形式（给出变分参数及其生成隐变量的分布）

3、写出ELBO（为什么是ELBO？优化它跟优化KL divergence等价，KL divergence因为含有后验分布不好优化）

4、求偏导进行变分参数学习