数值方法 4.23 课堂作业 —— EM算法（E步）

数值方法 4.23 课堂作业 —— EM算法（E步）

注：本文 极有可能 含有 AI 生成的内容，请仔细甄别（

问题描述

在一个封闭盒子中，有两类外观完全相同但内部均匀程度不同的硬币，记作 A 和 B。
已知初始猜测：

• A 类硬币在盒子中的占比：\(40\%\)
• 投掷 A 硬币正面向上的概率：\(80\%\)
• 投掷 B 硬币正面向上的概率：\(30\%\)

记正面向上、反面向上分别为 \(H,T\)

我们投掷一次硬币，结果为正面向上。

---

第（1）问

已知：

\[P(A) = 0.4,\quad P(B) = 0.6 \\ P(H \mid A) = 0.8,\quad P(H \mid B) = 0.3 \]

求：$ P(A \mid H) $

解（EM算法中的E步，即贝叶斯公式）：

\[\begin{aligned} P(A \mid H) &= \frac{P(H \mid A)P(A)}{P(H \mid A)P(A) + P(H \mid B)P(B)} \\ &= \frac{0.8 \times 0.4}{0.8 \times 0.4 + 0.3 \times 0.6} \\ &= 0.64 \end{aligned} \]

答案：这枚硬币属于 A 类的概率是 0.64。

---

第（2）问

修改条件（仅改变正面概率）：

\[P(H \mid A) = 0.9,\quad P(H \mid B) = 0.01 \]

其余不变：\(P(A) = 0.4,\quad P(B) = 0.6\)

求解：

\[P(A \mid H) = \frac{0.9 \times 0.4 = 0.36}{0.36 + 0.01 \times 0.6 = 0.366} \approx 0.9836 \]

答案：约为 0.9836。

所以观测到正面，极有可能是 A。

---

第（3）问

修改条件（仅改变先验占比）：

\[P(A) = 0.1,\quad P(B) = 0.9 \]

求解：

\[P(A \mid H) = \frac{0.8 \times 0.1 = 0.08}{0.08 + 0.3 \times 0.9 = 0.35} \approx 0.2286 \]

答案：约为 0.2286。

即使观测到正面，由于 A 本身非常稀少，其后验概率仍然不高。

---

第（4）问：EM算法E步的数学含义及初始值影响

E步的数学含义

在 EM 算法中，E步（Expectation Step） 的核心是：

利用当前模型参数的估计值，计算 隐变量 在给定观测数据下的 后验概率分布 。

本题中：

• 隐变量：硬币属于 A 还是 B
• 观测数据：一次正面
• 当前参数：$ P(A), P(B), P(H \mid A), P(H \mid B) $
• E步输出：$ P(A \mid H) $

数学上就是 贝叶斯公式：

\[P(Z \mid X, \theta) = \frac{P(X \mid Z, \theta) P(Z \mid \theta)}{\sum_Z P(X \mid Z, \theta) P(Z \mid \theta)} \]

不同初始值对EM的影响

初始参数变化	对 E 步结果的影响	对最终参数估计的影响
$ P(H \mid A) $ 偏高	后验概率更倾向于 A	可能高估 A 的正面概率
$ P(H \mid A) $ 偏低	后验概率更倾向于 B	可能低估 A 的正面概率
$ P(A) $ 先验偏低	即使看到正面，A 的后验仍偏低	需要更多证据才能纠正
极端初始值（如 $ P(H \mid B) \to 0 $）	E 步输出极端结果	可能陷入局部最优或收敛变慢

核心规律：

• EM 算法对初始值 敏感
• 不同初始值可能导致收敛到不同局部最优
• E 步本质是“用当前信念更新对隐变量的认知”
• 多轮迭代可以部分修正初始偏差，但无法保证全局最优

---

第（5）问：多次投掷

• 同一枚硬币，独立投掷 3 次，结果为：正、反、正（H, T, H）
• 使用第（1）问中的初始参数：

\[P(A)=0.4,\quad P(H \mid A)=0.8,\quad P(H \mid B)=0.3 \]

计算似然

\[P(HTH \mid A) = 0.8 \times (1-0.8) \times 0.8 = 0.8 \times 0.2 \times 0.8 = 0.128\\ P(HTH \mid B) = 0.3 \times (1-0.3) \times 0.3 = 0.3 \times 0.7 \times 0.3 = 0.063 \]

求解:

\[P(A \mid HTH) = \frac{0.128 \times 0.4 = 0.0512}{0.0512 + 0.063 \times 0.6 = 0.0890} \approx 0.5753 \]

答案：约为 0.5753。

解释：单次正面时 $ P(A \mid H)=0.64 $，加入反面观测后，由于反面更支持 B（B 出反概率 0.7 > A 出反概率 0.2），A 的后验概率下降至 0.575。