摘要：## 一般形式的EM算法 期望最大化算法或者EM算法是，求解具有潜在变量的概率模型的最大似然解的一种通用方法。这里给出一般形式的EM算法，并启发式地推导EM算法最大化了似然函数。 考虑一个概率模型，将其中所有的观测变量联合起来记为$X$, 将所有的与观测变量对应的潜在变量记为$Z$。联合概率分布$p 阅读全文

摘要：EM算法的目标就是找到具有潜在变量模型的最大似然解。设随机变量$x$的所有观测数据为$\{x_1, x_2, \cdots\}, x_i \in R^{d \times 1}$,所有这些数据用矩阵表示$X \in R^{n \times d}$,其中第i行就是前面集合中的第i个列向量的转置。类似地， 阅读全文

摘要：期望最大化算法 上节中公式(9.17),(9.19),(9.22)给出了混合高斯分布模型，单个高斯参数均值、协方差，以及高斯分布的系数。 $$ \mu_k = \frac{\sum_{n=1}^{N} \gamma(z_{nk}) x_n}{\sum_{n=1}^{N} \gamma(z_{nk}) 阅读全文