贝叶斯框架

用估计方式求解积分

• 随机估计：马尔可夫-蒙特卡洛
• 判别估计：拉普拉斯估计、变分推断、期望传播

隐变量模型

• 期望最大化
• 主成分分析来降维
• 高斯混合模型来密度估计
• 隐马尔可夫模型、动态系统来时序建模、元数据学习，或者任务生成

共轭先验–似然–后验三元组

似然（数据模型）	共轭先验	后验分布	后验参数更新
Bernoulli \(x_i\in\{0,1\}\)	Beta \(\theta\sim\mathrm{Beta}(\alpha_0,\beta_0)\)	\(\mathrm{Beta}(\alpha,\beta)\)	\(\alpha=\alpha_0+\sum x_i\) \(\beta=\beta_0+n-\sum x_i\)
Binomial \(k\sim\mathrm{Bin}(n,\theta)\)	Beta 同上	同上	同上（把 \(k\) 当成 \(\sum x_i\)）
Multinomial \(\mathbf k\sim\mathrm{Mult}(n,\boldsymbol\theta)\)	Dirichlet \(\boldsymbol\theta\sim\mathrm{Dir}(\boldsymbol\alpha_0)\)	\(\mathrm{Dir}(\boldsymbol\alpha)\)	\(\alpha_i=\alpha_{0i}+k_i\)
Poisson \(x_i\sim\mathrm{Pois}(\lambda)\)	Gamma \(\lambda\sim\mathrm{Gamma}(a_0,b_0)\)	\(\mathrm{Gamma}(a,b)\)	\(a=a_0+\sum x_i\) \(b=b_0+n\)
Exponential \(x_i\sim\mathrm{Exp}(\lambda)\)	Gamma 同上	同上	同上
Normal (已知方差 \(\sigma^2\)) \(x_i\sim\mathcal N(\mu,\sigma^2)\)	Normal \(\mu\sim\mathcal N(\mu_0,\tau_0^2)\)	\(\mathcal N(\mu_n,\tau_n^2)\)	\(\tau_n^2=\left(\frac1{\tau_0^2}+\frac n{\sigma^2}\right)^{-1}\) \(\mu_n=\tau_n^2\left(\frac{\mu_0}{\tau_0^2}+\frac{n\bar x}{\sigma^2}\right)\)
Normal (已知均值 \(\mu\)) \(x_i\sim\mathcal N(\mu,\sigma^2)\)	Inverse-Gamma \(\sigma^2\sim\mathrm{Inv-Gamma}(a_0,b_0)\)	\(\mathrm{Inv-Gamma}(a,b)\)	\(a=a_0+\frac n2\) \(b=b_0+\frac12\sum(x_i-\mu)^2\)

贝叶斯公式

• \(p(\theta|x)=\frac{p(x|\theta)p(\theta)}{p(x)}\)
• 分子：联合分布 --> 似然 ✖ 先验
• 分母：边缘似然 \(p(x)\)，通过对分子积分掉参数 \(\theta\) 得到
• 后验：联合分布除以边缘似然等到