摘要：算是 PRML第九章的一个笔记。如有错误的地方，欢迎指正。1. 问题描述 已知随机变量 X 和 Z 具有联合分布，其中 X 是可以观测的，Z 是不可观测的（隐变量）。现在给定了 X 的观测值，要求的最大似然估计。即已知 X， 求解优化问题EM算法是在有隐含变量存在时求参数的最大似然估计的一种优化方法。2. EM算法的推导 假设 Z 是离散型的随机变量（如果 Z 是连续型的随机变量，将下面推导中的求和号换为积分号即可）。记 Z 的取值空间为 ，设 q(Z) 为 空间 上的任意一个概率分布函数，则有记则由于相对熵（或称 KL距离） KL(q || p)恒非负，而且满足 KL（q || p) = . 阅读全文