An Introduction to Variational Methods (5.2)

我们现在已经得到了关于潜在变量Z的优化分布的表达形式：

 

‍

 

其中：

‍

 

所以现在我们可以得到Z的期望：

‍

 

 

 

 

 

另外对于Z还值得一提的是，我们从其优化分布的表达式中可以看出，各个Z的组成部分之间还是相互耦合的，所以需要一个迭代的求解方式。

 

解决了关于Z的一些遗留的问题，我们可以继续讨论如何求解余下的参数。同样的，我们的基本想法，还是将其带入我们之前所求到的公式中去，从而，我们有：

‍

 

 

 

 

 

现在，我们回头去观察一下这个混合高斯分布的图模型，我们会发现，在控制变量中，本身存在一个独立性，即：

‍

 

从而，在近似模型中，我们有：

‍

 

于是，我们从这些参数的优化表达式中，分别提取出只关于部分参数的式子，进行进一步优化，即：

‍‍

 

 

 

 

 

现在，我们对上式两边同时求指数运算，则：

‍
‍

 

 

 

 

 

 

 

 

看到这个形式是不是觉得非常熟悉呢？没错，这是一个Dirichlet分布的标准形式，从而我们可以得到关于pi的优化分布：

‍

 

其中

‍

 

 

我们现在可以开始讨论最后两个参数了。虽然我们知道余下的两个参数之间有依赖关系，从而不能分解成为两个边缘分布的乘积，但是我们依然可以根据product-rule将其分解成为：

‍

 

现在，我们从之前的求解式中将只含有这两个变量的部分提取出来，于是我们得到：

‍

 

 

 

 

观察这个式子，我们发现其实对于K组参数，这个式子都是同样的，所以我们可以单独只考虑其中一组变量:

‍

 

我们对两边同时进行指数运算，则有：

‍

 

 

 

现在我们来分别看看这些分布的形式：

‍
‍‍

其中，B是Wishart分布的归一化常数

 

 

 

 

 

其中：

‍

 

我们注意上面这个式子，它的指数部分，展开之后，可以得到：

‍

 

观察这个式子，我们发现，其中关于mu的二阶式和一阶式，也就是上面这个式子的前三项，和mu本身的分布合并，可以化归成为一个新的Gaussian分布；而上面式子的最后一项，则可以被Lambda的Wishart分布所吸收合并，成为一个新的Wishart分布。这样，我们就找到了这两个参数的分布形式，他们是一个新的Gassian-Wishart分布：

‍

 

其中，定义了：

‍