Andrew Ng机器学习公开课笔记 -- Mixtures of Gaussians and the EM algorithm
网易公开课，第12，13课
notes，7a, 7b，8
从这章开始，介绍无监督的算法
对于无监督，当然首先想到k means, 最典型也最简单，有需要直接看7a的讲义
Mixtures of Gaussians
如果要理解Mixtures of Gaussians，那先回去复习一下Gaussians Discriminant Analysis，高斯判别分析
首先高斯判别分析是生成算法，
所以不会直接拟合p(y|x), 而是拟合p(x|y)p(y), 即p(x,y)
p(y)符合伯努力分布，如果是多元分类，即多项式分布
p(x|y)符合多项高斯分布
然后用最大似然法，学习出
这个问题就解了
那么对于混合高斯，区别只是，对于一系列数据点，y是未知的，即非监督
下面看看形式化的定义，
既然y是未知，所以换个名字，z，隐随机变量（latent random variables, meaning that they’re hidden/unobserved.）
z符合多项式分布，参数φj表示z=j的概率，所以φ一定>=0, 并且所有φ的和为1
x|z，符合多项高斯分布
和高斯判别分析其实，只是把y替换成z，表示z是未知，不可见的
并且
也是每个多项高斯分布都不同的，这点和高斯判别也有些不一样
那么它的最大似然估计为，
最大似然时，之所以只考虑x，没有像高斯判别那样考虑p(x, y)，是因为y不可见
但是怎么理解？
可以想象一维数据，有很多数据点，分别代表多个高斯分布混合着一起
而高斯分布一定是中间的点比较密集，这里的p(x)会比较高
假设我们的数据点是有代表性的，所以拟合出p(x)高的高斯分布，会更合理一些
对于这个如何求解？
直接用梯度下降很难求解，因为在log里面求和。。。求导试试看
当然这里如果z已知，那么就很简单，直接变成高斯判别分析问题，但是问题现在z未知。
解决这个问题的方法，就是EM算法，Expectation Maximization Algorithm
这个算法其实思路很简单，但是如何推导和证明他的收敛和有效，比较复杂
所以先看看思路和实现，再来看推导
思路很简单，既然不知道z，并且如果知道就可以解这个问题，那么我们就先随便猜z，然后再迭代
具体如下，
E步骤，我们任意初始化参数
，就可以算出每个xi对应的zi，其实只要算出上面的这个概念分布就可以
具体算的公式如下，
，其中分别符合多项式和多项高斯分布，代入公式很容易算出
M步骤，
用上面猜的z来重新计算参数，这里看到为何只要算出w就ok，因为就已经足够算出新的参数
至于为何是这个公式，因为从上面高斯判别分析，可以得到，
只是简单的把部分替换成w
通过不停的E，M步骤的迭代，最终一定可以收敛到局部最优，和k-means一样，可以多试些初始值，来找到全局最优
但是为何这么简单的方法会有效，如何理解EM？继续
The EM algorithm
上面看到使用EM来拟合混合高斯问题，但这只是EM的一个特例
这章会推导出EM的一般形式，他可以解决各种含有隐变量的预估问题(estimation problems with latent variables.)
Jensen's inequality
先介绍一下Jensen不等式
首先通过下面的图理解一下，当f是凸函数的时候
E[f(x)] >= f(E[x])
对于凸函数，如果x是随机变量，分布均匀，那么x的均值一定比较接近谷底，所以这个不等式一定成立的
当f是严格凸函数的时候，即
时，普通凸函数，二阶导数可能为0，比如某一段为直线
如果要E[f(x)] = f(E[x])，当且仅当 x = E[x], 即x是个常量
需要注意，这个不等式对于concave，凹函数也是满足的，但不等式的方向相反
EM algorithm
下面来看看EM算法，
对于m个独立的训练数据点，似然函数如下，
这里是通用形式，所以参数就是
，这里没有假设z和x|z的分布，可以是任意分布
这个直接解是很困难的，所以用EM算法解
解的思路，
E-step, construct a lower-bound on 
先随便初始化参数，构建这个分布的下界，即最差的case
然后通过下界的分布，得到z
M-step, optimize that lower-bound
用E-step得到的z来最优化参数
如下图，在迭代过程中，下界的分布会不断的逼近真实分布
首先，假设Q为z的某种分布，Q(zi)为zi出现的概率，那么有
，并且Q(zi)>=0
然后为了使用Jensen不等式，对(1)分子分母同时乘上Q(zi)，这样就产生了期望E
先看下期望的定义，
那么对应于上面的公式，其中
，为g(z)
而
，为p
所以，
就是， 
再来看Jensen不等式，E[f(x)] >= f(E[x])，其中f就是log，所以得到上面(3)
所以这样就产生了的下界，
我们需要在M-step中去最优化这个下界，但问题是现在Q分布还没有确定，如何确定哪种Q分布会最好
我们虽然给出在参数时的下界，但是我们希望这个下界是可以尽量逼近
的，所以希望(3)中最好可以取到等式，这样下界就等于
这时候再看Jensen不等式中，对于=取值的条件，即，
由于，所以让分子和分母对所有的z求和，应该还是等于c，比如2+4 /1+2，仍然为2，得到
，
所以得到Q的分布，就是z的后验概率
所以，最终得到的general EM算法为，
可以对比一下，之前混合高斯的EM，体会一下特例和通用的差别
那么这个算法是收敛的吗？即证明下面的式子，第t+1次迭代的>=第t次迭代
过程如下，
(4)给出
的下界
(5)因为在M-step，要在固定Q情况下，最优化，所以优化完，一定比原来的要大
(6)因为在取下界的时候，选择Q使得
所以得证
EM和k-means都是一定会收敛到局部最优的
从另外一个角度来看EM，其实是一种坐标上升算法，
在E-Step，我们固定
来，求解最优的Q
在M-Step，我们固定Q来，求解最优的
Mixture of Gaussians revisited
看完通用的EM算法，再会过头来看看混合高斯算法，应该会更清晰一些
对于E-step很简单，
通用的EM，表示为
而对于混合高斯算法，为
，这个很自然，不需要解释
然后对于M-step，需要最大化下面的式子以求出
后面的求解过程就是分别对，，求导然后求解，就可以得到上面的已经列出的公式，具体过程可以参考讲义，这里就不列了
文本聚类- Mixtures of Naive Bayes Model
这个没有讲义，只能截图
对于naive bayes是文本分类，而因为这里的训练集是不知道y的，所以就是文本聚类问题
得到m个文本，每个文本是n维向量，其中每维取{0,1}代表该word是否在文本中出现
而隐变量z，也是取值{0,1}，表示分两类，那么z就符合伯努力分布
p(x|z)，符合naive bayes分布
这里给出，E-step和M-step的公式
当然其中M-step是通过最大化P(x|z)，求解出来的
其实想想，EM和K-mean的基本思路是差不多的
首先对于数据集，选定特征后，是可分的，即如果把数据画出来，是可以看到明显聚集的
所以随意设定初值后，不断迭代，比如混合高斯，总是可以渐渐收敛到局部最优的，不同于k-mean的是
EM可以给出具体的密度函数p(z|x)
对于隐变量z，其实K-mean，如果设k=2，即两类，相当于产生z取值{0,1}
