EM算法

转自：https://snaildove.github.io/2018/10/01/9.EM_and_GEM_LiHang-Statistical-Learning-Methods/

前言

EM（期望最大）算法有很多的应用，最广泛的就是混合高斯模型、聚类、HMM等等，本质上就是一种优化算法，不断迭代，获得优值，与梯度下降、牛顿法、共轭梯度法都起到同一类的作用。

本文是对李航《统计学习方法》的第9章复习总结，主要内容如下

1. EM（期望最大）算法证明有跳跃性的地方全部事无巨细地写出来，

2. 在 三硬币例子解析 这一节将会把这个例子跟公式一一对应起来

3. GMM（高斯混合模型）迭代公式证明

4. F函数的极大-极大算法（Maximization-Maximization-algorithm）和GEM 详细证明

当然大家也可以参考 Stanford 吴恩达主讲的 CS299 Machine Learning 的 EM课件 ，相比之下《统计学习方法》这本书在 Jensen‘s inequality（琴声不等式）讲的不够详细，其他都差不多，只是Q函数定义不同，这两种定义都很流行所以后文也会介绍区别。

正文

9.1 EM算法的引入

概率模型有时既含有观测变量（observable variable） ， 又含有隐变量（hidden variable）或潜在变量（latent variable） 。

如果概率模型的变量都是观测变量， 那么给定数据， 可以直接用极大似然估计法或贝叶斯估计法估计模型参数。 但是， 当模型含有隐变量时， 就不能简单地使用这些估计方法。 EM算法就是含有隐变量的概率模型参数的极大似然估计法， 或极大后验概率估计法。 我们仅讨论极大似然估计， 极大后验概率估计与其类似。

9.1.1 EM算法

这里， 随机变量 y$y$ 是观测变量， 表示一次试验观测的结果是1或0； 随机变量 z$z$ 是隐变量， 表示未观测到的掷硬币 A$A$ 的结果； θ＝(π,p，q)$\theta ＝(\pi ,p，q)$ 是模型参数。 这一模型是以上数据的生成模型。 注意， 随机变量 y$y$ 的数据可以观测， 随机变量 z$z$ 的数据不可观测。

P(y|θ)=∑zP(y,z|θ)=∑zP(z,θ)P(θ)⋅P(y,z,θ)P(z,θ)=∑zP(z|θ)P(y|z,θ)=P(z=1|θ)P(y|z=1,θ)+P(z=0|θ)P(y|z=0,θ)=πpy(1−p)(1−y)+(1−π)qy(1−q)(1−y)={πp+(1−π)q,π(1−p)+(1−π)(1−q),y=1y=0(9.1)$$\begin{array}{rl}P(y|\theta )& =\sum _{z}P(y,z|\theta )=\sum _z\frac{P(z,\theta )}{P(\theta )}\cdot \frac{P(y,z,\theta )}{P(z,\theta )}=\sum _{z}P(z|\theta )P(y|z,\theta )\\ & =P(z=1|\theta )P(y|z=1,\theta )+P(z=0|\theta )P(y|z=0,\theta )\\ \text{(9.1)}& & =\pi p^y(1-p{)}^{(1-y)}+(1-\pi )q^y(1-q{)}^{(1-y)}& =\{\begin{array}{ll}\pi p+(1-\pi )q,& y=1\\ \pi (1-p)+(1-\pi )(1-q),& y=0\end{array}\end{array}$$

将观测数据表示为 Y＝(Y1，Y2,…,Yn)T$Y＝(Y_1，Y_2,\dots ,Y_n{)}^T$， 未观测数据表示为 Z＝(Z1,Z2,…,Zn)T$Z＝(Z_1,Z_2,\dots ,Z_n{)}^T$， 则观测数据的似然函数为

P(Y|θ)=∑ZP(Y,Z|θ)=∑ZP(Z|θ)P(Y|Z,θ)(9.2)$$\begin{array}{}\text{(9.2)}& P(Y|\theta )=\sum _{Z}P(Y,Z|\theta )=\sum _{Z}P(Z|\theta )P(Y|Z,\theta )\end{array}$$

即：

P(Y|θ)=∏j=1n{πpyj(1−p)(1−yj)+(1−π)qyj(1−q)(1−yj)}(9.3)$$\begin{array}{}\text{(9.3)}& P(Y|\theta )=\prod _{j=1}^n\left\{\pi p^{y_j}(1-p{)}^{(1-y_j)}+(1-\pi )q^{y_j}(1-q{)}^{(1-y_j)}\right\}\end{array}$$

考虑求模型参数 θ=(π,p,q)$\theta =(\pi ,p,q)$ 的极大似然估计，即：

θ^=argmaxθlogP(Y|θ)=argmaxθlog∏j=1nP(Y|θ)⇐n次抛硬币试验都是独立=argmaxθ∑j=1nlogP(Y|θ)=argmaxθ∑j=1nlog{∑ZP(Z|θ)P(Y|Z,θ)}(9-3)$$\begin{array}{rl}\hat{\theta }& =\underset{\theta }{\arg max}\mathrm{l}\mathrm{o}\mathrm{g}P(Y|\theta )\\ & =\underset{\theta }{\arg max}\log \prod _{j=1}^{n}P(Y|\theta )\Leftarrow \text{n次抛硬币试验都是独立}\\ & =\underset{\theta }{\arg max}\sum _{j=1}^n\log P(Y|\theta )\\ \text{(9-3)}& & =\underset{\theta }{\arg max}\sum _{j=1}^n\log \left\{\sum _{Z}P(Z|\theta )P(Y|Z,\theta )\right\}\end{array}$$

问题：这里为什么要取对数？

• 取对数之后累积变为累和，求导更加方便（后面三硬币例子解析将会看到）
• 概率累积会出现数值非常小的情况，比如1e-30，由于计算机的精度是有限的，无法识别这一类数据，取对数之后，更易于计算机的识别(1e-30以10为底取对数后便得到-30)。

这个问题没有解析解，因为隐变量数据无法获得，只有通过迭代的方法求解。 EM算法就是可以用于求解这个问题的一种迭代算法。

一般地， 用 Y$Y$ 表示观测随机变量的数据， Z$Z$ 表示隐随机变量的数据。 Y$Y$ 和 Z$Z$ 连在一起称为完全数据（complete-data） ， 观测数据 Y$Y$ 又称为不完全数据（incomplete-data） 。 假设给定观测数据 Y$Y$， 其概率分布是 P(Y|θ)$P(Y|\theta )$， 其中是需要估计的模型参数， 那么不完全数据 Y$Y$ 的似然函数是 P(Y|θ)$P(Y|\theta )$， 对数似然函数 L(θ)＝logP(Y|θ)$L(\theta )＝\mathrm{l}\mathrm{o}\mathrm{g}P(Y|\theta )$ ； 假设 Y$Y$ 和 Z$Z$ 的联合概率分布是 P(Y,Z|θ)$P(Y,Z|\theta )$， 那么完全数据的对数似然函数是 logP(Y,Z|θ)$\mathrm{l}\mathrm{o}\mathrm{g}P(Y,Z|\theta )$。

9.1.2 EM算法的导出

注：书上给出琴声不等式（ln∑jλjyj≥∑jλjlogyj,λj≥0,∑jλj=1$\ln \sum _j{\lambda }_j{y}_j\ge \sum _j{\lambda }_j\log y_j,{\lambda }_j\ge 0,\sum _j{\lambda }_j=1$），自行维基百科一下了解详情。最后一步源自于 Z$Z$ 所有可能取值的概率和为1

logP(Y|θ(i))=logP(Y|θ(i))⋅∑ZP(Z|Y,θ(i))$$\mathrm{l}\mathrm{o}\mathrm{g}P(Y|{\theta }^{(i)})=\mathrm{l}\mathrm{o}\mathrm{g}P(Y|{\theta }^{(i)})\cdot \sum _{Z}P(Z|Y,{\theta }^{(i)})$$

θ(i+1)=argmaxθ{L(θ(i))+∑ZP(Z|Y,θ(i))logP(Y|Z,θ)P(Z|θ)P(Z|Y,θ(i))P(Y|θ(i))}=argmaxθ{logP(Y|θ(i))∑ZP(Z|Y,θ(i))+∑ZP(Z|Y,θ(i))logP(Y|Z,θ)P(Z|θ)P(Z|Y,θ(i))P(Y|θ(i))}$$\begin{array}{rl}{\theta }^{(i+1)}& =\underset{\theta }{\arg max}\left\{L({\theta }^{(i)})+\sum _{Z}P(Z|Y,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})}\right\}\\ & =\underset{\theta }{\arg max}\left\{\mathrm{l}\mathrm{o}\mathrm{g}P(Y|{\theta }^{(i)})\sum _{Z}P(Z|Y,{\theta }^{(i)})+\sum _{Z}P(Z|Y,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})}\right\}\end{array}$$

加号右边，利用对数函数的性质得到：

∑ZP(Z|Y,θ(i))logP(Y|Z,θ)P(Z|θ)P(Z|Y,θ(i))P(Y|θ(i))=∑ZP(Z|Y,θ(i)){log[P(Y|Z,θ)P(Z|θ)]−log[P(Z|Y,θ(i))P(Y|θ(i))]}=∑ZP(Z|Y,θ(i)){log[P(Y|Z,θ)P(Z|θ)]−logP(Z|Y,θ(i))−logP(Y|θ(i))}=∑ZP(Z|Y,θ(i))log[P(Y|Z,θ)P(Z|θ)]−∑ZP(Z|Y,θ(i))logP(Z|Y,θ(i))−∑ZP(Z|Y,θ(i))logP(Y|θ(i))$$\begin{array}{rl}& \sum _{Z}P(Z|Y,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})}\\ & =\sum _{Z}P(Z|Y,{\theta }^{(i)})\left\{\mathrm{l}\mathrm{o}\mathrm{g}[P(Y|Z,\theta )P(Z|\theta )]-\mathrm{l}\mathrm{o}\mathrm{g}[P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})]\right\}\\ & =\sum _{Z}P(Z|Y,{\theta }^{(i)})\left\{\mathrm{l}\mathrm{o}\mathrm{g}[P(Y|Z,\theta )P(Z|\theta )]-\mathrm{l}\mathrm{o}\mathrm{g}P(Z|Y,{\theta }^{(i)})-\mathrm{l}\mathrm{o}\mathrm{g}P(Y|{\theta }^{(i)})\right\}\\ & =\sum _{Z}P(Z|Y,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}[P(Y|Z,\theta )P(Z|\theta )]-\sum _{Z}P(Z|Y,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}P(Z|Y,{\theta }^{(i)})-\sum _{Z}P(Z|Y,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}P(Y|{\theta }^{(i)})\end{array}$$

代入上式可得：

θ(i+1)=argmaxθ{∑ZP(Z|Y,θ(i))log[P(Y|Z,θ)P(Z|θ)]−∑ZP(Z|Y,θ(i))logP(Z|Y,θ(i))}$$\begin{array}{rl}{\theta }^{(i+1)}& =\underset{\theta }{\arg max}\left\{\sum _{Z}P(Z|Y,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}[P(Y|Z,\theta )P(Z|\theta )]-\sum _{Z}P(Z|Y,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}P(Z|Y,{\theta }^{(i)})\right\}\end{array}$$

由于在迭代求第 i+1$i+1$ 步时，θ(i)${\theta }^{(i)}$ 是已知的，那么由训练数据中可以求得 P(Z|Y,θ(i))$P(Z|Y,{\theta }^{(i)})$ ，所以在 θ(i)${\theta }^{(i)}$ 值确定的情况下，P(Z|Y,θ(i))$P(Z|Y,{\theta }^{(i)})$ 的值也是确定的而不是变量，那么对上式极大化等价求解对下面式子的极大化

θ(i+1)=argmaxθ{∑ZP(Z|Y,θ(i))log[P(Y|Z,θ)P(Z|θ)]}=argmaxθ{∑ZP(Z|Y,θ(i))logP(Y,Z|θ)}=argmaxθQ(θ,θ(i))(9.17)$$\begin{array}{rl}{\theta }^{(i+1)}& =\underset{\theta }{\arg max}\left\{\sum _{Z}P(Z|Y,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}[P(Y|Z,\theta )P(Z|\theta )]\right\}\\ & =\underset{\theta }{\arg max}\left\{\sum _{Z}P(Z|Y,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}P(Y,Z|\theta )\right\}\\ \text{(9.17)}& & =\underset{\theta }{\arg max}Q(\theta ,{\theta }^{(i)})\end{array}$$

Q函数

EM算法

EM算法解释

9.1.3 EM算法在非监督学习中的应用

9.2 EM算法的收敛性

这一部分原书讲的比较详细，不画蛇添足，贴上来。

三硬币例子解析

前文讲到抛硬币的例子，现在重新详细推导一下三硬币这个例子。

j$j$ 是训练集中的数据编号，实际上书上这里求得是

P(Z|yj,θ(i))={P(Z=1|yj,θ(i))=μ(i+1)jP(Z=0|yj,θ(i))=1−μ(i+1)j$$\begin{array}{r}P(Z|y_j,{\theta }^{(i)})=\{\begin{array}{l}P(Z=1|y_j,{\theta }^{(i)})={\mu }_j^{(i+1)}\\ P(Z=0|y_j,{\theta }^{(i)})=1-{\mu }_j^{(i+1)}\end{array}\end{array}$$

前文已知Q函数：

Q(θ,θ(i))=∑ZP(Z|Y,θ(i))logP(Y,Z|θ)$$Q(\theta ,{\theta }^{(i)})=\sum _{Z}P(Z|Y,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}P(Y,Z|\theta )$$

第一步求期望

即求Q函数，由本文开头的 9.1.1 EM算法 这一节的公式 (9-3) 和 Q函数得到，在多个样本情况下 Q 函数为：

Q(θ,θ(i))=∑j=1n∑ZP(Z|yj,θ(i))logP(yj,Z|θ)=∑j=1n{P(Z=1|yj,θ(i))logP(yj,Z=1|θ)+P(Z=0|yj,θ(i))logP(yj,Z=0|θ)}=∑j=1n{μ(i+1)jlogP(yj,Z=1|θ)+(1−μ(i+1)j)logP(yj,Z=0|θ)}=∑j=1n{μ(i+1)jlog[πpyj(1−p)1−yj]+(1−μ(i+1)j)log[(1−π)qyj(1−q)1−yj]}$$\begin{array}{rl}Q(\theta ,{\theta }^{(i)})& =\sum _{j=1}^n\sum _{Z}P(Z|y_j,{\theta }^{(i)})\log P(y_j,Z|\theta )\\ & =\sum _{j=1}^n\left\{P(Z=1|y_j,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}P(y_j,Z=1|\theta )+P(Z=0|y_j,{\theta }^{(i)})\mathrm{l}\mathrm{o}\mathrm{g}P(y_j,Z=0|\theta )\right\}\\ & =\sum _{j=1}^n\left\{{\mu }_j^{(i+1)}logP(y_j,Z=1|\theta )+(1-{\mu }_j^{(i+1)})\mathrm{l}\mathrm{o}\mathrm{g}P(y_j,Z=0|\theta )\right\}\\ & =\sum _{j=1}^n\left\{{\mu }_j^{(i+1)}\log [\pi p^{y_j}(1-p{)}^{1-y_j}]+(1-{\mu }_j^{(i+1)})\log [(1-\pi )q^{y_j}(1-q{)}^{1-y_j}]\right\}\end{array}$$

第二步极大化Q函数

θ(i+1)=argmaxθQ(θ,θ(i))=argmaxθ{∑j=1n∑ZP(Z|yj,θ(i))logP(yj,Z|θ)}$\begin{array}{r}{\theta }^{(i+1)}=\underset{\theta }{\arg max}Q(\theta ,{\theta }^{(i)})=\underset{\theta }{\arg max}\left\{\sum _{j=1}^n\sum _{Z}P(Z|y_j,{\theta }^{(i)})\log P(y_j,Z|\theta )\right\}\end{array}$ 用微积分求解最大值，先求导数为0点（为了求导方便令对数的底数为e，即认为此处对数函数为自然对数）：

∂Q(θ,θ(i))∂π=∑j=1N{μ(i+1)jln[πpyj(1−p)1−yj]+(1−μ(i+1)j)ln[(1−π)qyj(1−q)1−yj]∂π}=∑j=1N{μ(i+1)jpyj(1−p)1−yjπpyj(1−p)1−yj+(1−μ(i+1)j)−qyj(1−q)1−yj(1−π)qyj(1−q)1−yj}=∑j=1N{μ(i+1)j−ππ(1−π)}=(∑Nj=1μ(i+1)j)−nππ(1−π)$$\begin{array}{rl}\frac{\mathrm{\partial }Q(\theta ,{\theta }^{(i)})}{\mathrm{\partial }\pi }& =\sum _{j=1}^N\{\frac{{\mu }_j^{(i+1)}\ln [\pi p^{y_j}(1-p{)}^{1-y_j}]+(1-{\mu }_j^{(i+1)})\ln [(1-\pi )q^{y_j}(1-q{)}^{1-y_j}]}{\mathrm{\partial }\pi }\}\\ & =\sum _{j=1}^N\{{\mu }_j^{(i+1)}\frac{p^{y_j}(1-p{)}^{1-y_j}}{\pi p^{y_j}(1-p{)}^{1-y_j}}+(1-{\mu }_j^{(i+1)})\frac{-q^{y_j}(1-q{)}^{1-y_j}}{(1-\pi )q^{y_j}(1-q{)}^{1-y_j}}\}\\ & =\sum _{j=1}^N\{\frac{{\mu }_j^{(i+1)}-\pi }{\pi (1-\pi )}\}\\ & =\frac{(\sum _{j=1}^N{\mu }_j^{(i+1)})-n\pi }{\pi (1-\pi )}\end{array}$$

∵∂Q(θ,θ(i))∂π=0∴π(i+1)⟹π=1n∑j=1Nμ(i+1)j=1n∑j=1Nμ(i+1)j$$\begin{array}{rl}\because \frac{\mathrm{\partial }Q(\theta ,{\theta }^{(i)})}{\mathrm{\partial }\pi }=0& ⟹\pi =\frac{1}{n}\sum _{j=1}^N{\mu }_j^{(i+1)}\\ \therefore {\pi }^{(i+1)}& =\frac{1}{n}\sum _{j=1}^N{\mu }_j^{(i+1)}\end{array}$$

∂Q(θ,θ(i))∂p=∑j=1N{μ(i+1)jln[πpyj(1−p)1−yj]+(1−μ(i+1)j)ln[(1−π)qyj(1−q)1−yj]∂p}=∑j=1N{μ(i+1)jπ(yjpyj−1(1−p)1−yj+pyj(−1)(1−yj)(1−p)1−yj−1)πpyj(1−p)1−yj+0}=∑j=1N{μ(i+1)j(yj−p)p(1−p)}=(∑Nj=1μ(i+1)jyj)−(p∑Nj=1μ(i+1)j)p(1−p)$$\begin{array}{rl}\frac{\mathrm{\partial }Q(\theta ,{\theta }^{(i)})}{\mathrm{\partial }p}& =\sum _{j=1}^N\{\frac{{\mu }_j^{(i+1)}\ln [\pi p^{y_j}(1-p{)}^{1-y_j}]+(1-{\mu }_j^{(i+1)})\ln [(1-\pi )q^{y_j}(1-q{)}^{1-y_j}]}{\mathrm{\partial }p}\}\\ & =\sum _{j=1}^N\{{\mu }_j^{(i+1)}\frac{\pi (y_j{p}^{y_j-1}(1-p{)}^{1-y_j}+p^{y_j}(-1)(1-y_j)(1-p{)}^{1-y_j-1})}{\pi p^{y_j}(1-p{)}^{1-y_j}}+0\}\\ & =\sum _{j=1}^N\{\frac{{\mu }_j^{(i+1)}(y_j-p)}{p(1-p)}\}\\ & =\frac{(\sum _{j=1}^N{\mu }_j^{(i+1)}{y}_j)-(p\sum _{j=1}^N{\mu }_j^{(i+1)})}{p(1-p)}\end{array}$$

∵∂Q(θ,θ(i))∂p=0∴p(i+1)q(i+1)⟹p=∑Nj=1μ(i+1)jyj∑Nj=1μ(i+1)j=∑Nj=1μ(i+1)jyj∑Nj=1μ(i+1)j=∑Nj=1(1−μ(i+1)j)yj∑Nj=1(1−μ(i+1)j)$$\begin{array}{rl}\because \frac{\mathrm{\partial }Q(\theta ,{\theta }^{(i)})}{\mathrm{\partial }p}=0& ⟹p=\frac{\sum _{j=1}^N{\mu }_j^{(i+1)}{y}_j}{\sum _{j=1}^N{\mu }_j^{(i+1)}}\\ \therefore p^{(i+1)}& =\frac{\sum _{j=1}^N{\mu }_j^{(i+1)}{y}_j}{\sum _{j=1}^N{\mu }_j^{(i+1)}}\\ q^{(i+1)}& =\frac{\sum _{j=1}^N(1-{\mu }_j^{(i+1)})y_j}{\sum _{j=1}^N(1-{\mu }_j^{(i+1)})}\end{array}$$

可以参照书上的结果，一模一样：

CS299 EM算法与《统计学习方法》的表述不同点

1. 《统计学习方法》这部分术语源自于鼎鼎大名的ESL 全称：The Elements of Statistical Learning，这也是Stanford统计经典巨作。

   

2. Stanford 吴恩达主讲的 CS299 Machine Learning 的 EM课件

   

   由本文的推导，易得 ESL 中的 QESL=QCS299logP(X,Z;θ)QCS299$Q_{ESL}=Q_{CS299}\frac{\log P(X,Z;\theta )}{Q_{CS299}}$

9.3 EM算法在高斯混合模型学习中的应用

EM算法的一个重要应用是高斯混合模型的参数估计。 高斯混合模型应用广泛， 在许多情况下， EM算法是学习高斯混合模型（Gaussian misture model） 的有效方法。

9.3.1 高斯混合模型

9.3.2 高斯混合模型参数估计的EM算法

注意：上面的极大化的求混合模型参数迭代公式的过程参考： 大牛JerryLead 的 （EM算法）The EM Algorithm

与K-means比较

相同点：都是可用于聚类的算法；都需要指定K值。

不同点：GMM可以给出一个样本属于某类的概率是多少。

9.4 EM算法的推广

EM算法还可以解释为F函数（F function） 的极大-极大算法（maximization maximization algorithm） ， 基于这个解释有若干变形与推广， 如广义期望极大（generalized expectation maximization，GEM） 算法。

注：原文引理(9.1)(9.2)的证明有坑需要注意，先看原文，后面列出详细过程

9.4.1 F函数的极大-极大算法

熵这块，不清楚的可以回顾一下我的另一篇总结：《机器学习中的信息论基础》 。

引理9.1需要更详细说明：

L=Ep~logP(Y,Z|θ)−Ep~logP~(Z)+λ{1−∑ZP~(Z)}$$L=E_{\tilde{p}}\log P(Y,Z|\theta )-E_{\tilde{p}}\log \tilde{P}(Z)+\lambda \left\{1-\sum _Z\tilde{P}(Z)\right\}$$

证明过程思路：拉格朗日求有约束的极大值。需要注意，由累加号和均值可以看出这里的 Z$Z$ 是指 Zi,i$Z_i,i$ 这里是 Z$Z$ 的离散值的标号 ，因此需要重写公式 (9.35) 比较清楚：

L=∑ZiP~(Zi)logP(Y,Zi|θ)−∑ZiP~(Zi)logP~(Zi)+λ{1−∑ZiP~(Zi)}$$L=\sum _{Z_i}\tilde{P}(Z_i)\log P(Y,Z_i|\theta )-\sum _{Z_i}\tilde{P}(Z_i)\log \tilde{P}(Z_i)+\lambda \left\{1-\sum _{Z_i}\tilde{P}(Z_i)\right\}$$

所以这里其实是 L$L$ 关于 P(Zi)$P(Z_i)$的求导（这里作者求导的时候把对数函数默认当做自然对数）：

∂L∂P~(Zi)=logP(Y,Zi|θ)−logP~(Zi)−1−λ∵∂L∂P~(Zi)=0∴λ=logP(Y,Zi|θ)−logP~(Zi)−1$$\begin{array}{rl}& \frac{\mathrm{\partial }L}{\mathrm{\partial }\tilde{P}(Z_i)}=\log P(Y,Z_i|\theta )-\log \tilde{P}(Z_i)-1-\lambda \\ & \because \frac{\mathrm{\partial }L}{\mathrm{\partial }\tilde{P}(Z_i)}=0\\ & \therefore \lambda =\log P(Y,Z_i|\theta )-\log \tilde{P}(Z_i)-1\end{array}$$

上式两端同取对数：

λ+1=logP(Y,Zi|θ)−logP~(Zi)⇒eλ+1=P(Y,Zi|θ)P~(Zi)⇒P~(Zi)=P(Y,Zi|θ)eλ+1(9-1)$$\begin{array}{rl}\lambda +1& =\log P(Y,Z_i|\theta )-\log \tilde{P}(Z_i)\\ & \Rightarrow e^{\lambda +1}=\frac{P(Y,Z_i|\theta )}{\tilde{P}(Z_i)}\\ \text{(9-1)}& & \Rightarrow \tilde{P}(Z_i)=\frac{P(Y,Z_i|\theta )}{e^{\lambda +1}}\end{array}$$

由离散变量的概率和为1，得到：

∑Zieλ+1eλ+1=∑ZiP(Y,Zi|θ)∑ZiP~(Zi)⇒=P(Y|θ)(9-2)$$\begin{array}{rl}\sum _{Z_i}{e}^{\lambda +1}& =\frac{\sum _{Z_i}P(Y,Z_i|\theta )}{\sum _{Z_i}\tilde{P}(Z_i)}\Rightarrow \\ \text{(9-2)}& e^{\lambda +1}& =P(Y|\theta )\end{array}$$

将 (9-2) 代入 (9-1)​ 式，得到

P~(Zi)=P(Y,Zi|θ)P(Y|θ)=P(Y,Zi,θ)p(θ)P(θ)P(Y,θ)=P(Zi|Y,θ)$$\begin{array}{rl}\tilde{P}(Z_i)& =\frac{P(Y,Z_i|\theta )}{P(Y|\theta )}\\ & =\frac{P(Y,Z_i,\theta )}{p(\theta )}\frac{P(\theta )}{P(Y,\theta )}\\ & =P(Z_i|Y,\theta )\end{array}$$

这里前提条件是 θ$\theta$ 是固定情况下的推导过程，所以原文给上式标记出了 θ$\theta$ ，又因为每个 Zi$Z_i$ 都符合这个式子，那么可重写上式：

P~θ(Z)=P(Z|Y,θ)$${\tilde{P}}_{\theta }(Z)=P(Z|Y,\theta )$$

这样引理9.1证明完毕。

引理9.2如下

由公式 (9.33)$(9.33)$ 和 (9.34)$(9.34)$ :

F(P~,θ)=Ep~[logP(Y,Z|θ)]+H(P~)P~θ(Z)=P(Z|Y,θ)$$\begin{gathered} F(\tilde{P},\theta )=E_{\tilde{p}}[\log P(Y,Z|\theta )]+H(\tilde{P}) \\ {\tilde{P}}_{\theta }(Z)=P(Z|Y,\theta ) \end{gathered}$$

得到：

F(P~,θ)=∑ZP~θ(Z)logP(Y,Z|θ)−∑ZP~θ(Z)logP~θ(Z)=∑ZP(Z|Y,θ)logP(Y,Z|θ)−∑ZP(Z|Y,θ)logP(Z|Y,θ)=∑ZP(Z|Y,θ)[logP(Y,Z|θ)−logP(Z|Y,θ)]=∑ZP(Z|Y,θ)logP(Y,Z|θ)P(Z|Y,θ)=∑ZP(Z|Y,θ)log{P(Y,Z,θ)p(θ)P(Y,θ)P(Y,Z,θ)}=∑ZP(Z|Y,θ)logP(Y|θ)=logP(Y|θ)$$\begin{array}{rl}F(\tilde{P},\theta )& =\sum _Z{\tilde{P}}_{\theta }(Z)\log P(Y,Z|\theta )-\sum _Z{\tilde{P}}_{\theta }(Z)\log {\tilde{P}}_{\theta }(Z)\\ & =\sum _{Z}P(Z|Y,\theta )\log P(Y,Z|\theta )-\sum _{Z}P(Z|Y,\theta )\log P(Z|Y,\theta )\\ & =\sum _{Z}P(Z|Y,\theta )[\log P(Y,Z|\theta )-\log P(Z|Y,\theta )]\\ & =\sum _{Z}P(Z|Y,\theta )\log \frac{P(Y,Z|\theta )}{P(Z|Y,\theta )}\\ & =\sum _{Z}P(Z|Y,\theta )\log \left\{\frac{P(Y,Z,\theta )}{p(\theta )}\frac{P(Y,\theta )}{P(Y,Z,\theta )}\right\}\\ & =\sum _{Z}P(Z|Y,\theta )\log P(Y|\theta )\\ & =\log P(Y|\theta )\end{array}$$

引理9.2证明完毕

9.4.2 GEM算法

本章概要

引用

1. The Expectation Maximization Algorithm: A short tutorial - Sean Borman

2. 李航《统计学习方法》

3. 大牛JerryLead 的 （EM算法）The EM Algorithm

4. 人人都懂EM算法

5. EM算法简述及简单示例（三硬币模型）