密度估计-第3柱（三）- EM算法

期望最大化算法（EM 算法）

• 混合模型、隐变量模型参数（最大似然或MAP）的通用迭代算法
  • E 步：评估责任 \(r_{nk}\)（计算数据点 n 属于混合分量 k 的后验概率）
  • M 步：使用更新后的责任 \(r_{nk}\) 重新估计参数 \(\mu_k,\ \Sigma_k,\ \pi_k\)
• EM 算法中的每一步都会增大对数似然函数，直到收敛
• 具体步骤：
  • Step 1：初始化 \(\mu_k,\ \Sigma_k,\ \pi_k\)
  • Step 2：E 步 - 使用当前参数 \(\mu_k,\ \Sigma_k,\ \pi_k\) 为每个数据点 \(x_n\) 评估责任 \(r_{nk}\)
    • \(r_{nk}=\frac{\pi_k N(x_n\ |\ \mu_k,\ \Sigma_k)}{\sum_{j=1}^{K} \pi_j N(x_n\ |\ \mu_j,\ \Sigma_j)}\)
  • Step 3：M 步 - 使用当前责任 \(r_{nk}\)（来自 E 步）重新估计参数 \(\mu_k,\ \Sigma_k,\ \pi_k\)
    • \(\mu_k = \frac{1}{N_k} \sum_{n=1}^{N} r_{nk}x_n\)
    • \(\Sigma_k = \frac{1}{N_k} \sum_{n=1}^{N} r_{nk}(x_n-\mu_k)(x_n-\mu_k)^T\)
    • \(\pi_k = \frac{1}{N} \sum_{n=1}^{N} r_{nk}\)