绪论-频率派vs贝叶斯派

绪论-频率派vs贝叶斯派

\(X\) : data

\[\begin{equation} \begin{aligned} X=(x_{1}\quad x_{2}\quad \cdots\quad X_{N})^{T}_{N \times p} \\ =\left(\begin{array}{cccc}x_{1} & x_{12} & \cdots & x_{1 p} \\ x_{11} & x_{22} & \cdots & x_{2 p} \\ \vdots & & & \\ x_{m} & x_{N 2} & \cdots & x_{n p}\end{array}\right)_{N \times p} \end{aligned} \end{equation} \]

\(\theta\)：parameters

\(x \sim p(x|\theta)\)

频率派

认为$ \theta$ 是未知的常量，\(x\) 是随机变\(\quad r.v.\)

\[\theta_{MLE}= arg\max_{\theta} \log P(x|\theta) \]

其中：

\[L(\theta) = \log P(x|\theta) \]

\[x_{i} \sim^{iid} p(x|\theta) \]

\[P(x|\theta) = \prod_{i}^{N} p(x_{i}|\theta) \\ log P(x|\theta) = \sum_{i}^{N} p(x_i | \theta) \]

贝叶斯派

认为 \(\theta\) 是一个变量 \(r.v.\)，并且服从一定的分布 \(\theta \sim p(\theta)\) 一般情况下 把 \(p(\theta)\) 称为先验

贝叶斯定理

\[P(\theta|X) = \frac{P(X|\theta) P(\theta)}{P(X)} \]

其中

\(P(\theta|X)\) 为后验概率

\(p(\theta)\) 为先验概率

\(P(X)= \int_{\theta} P(X|\theta)P(\theta)\)

\(P(X|\theta)\) 中的 \(\theta\) 为 likelihood （似然估计）

MAP : 最大后验概率估计

\[\begin{aligned} \theta_{MAP} = \arg \max_{\theta} P(\theta|X)\\ \propto \arg \max P(X|\theta) P(\theta) \end{aligned} \]

贝叶斯估计

\[p(\theta|x) = \frac{p(x|\theta)p(\theta)}{\int_{\theta}p(x|\theta)p(\theta)d\theta} \]

贝叶斯预测

样本数据 \(X\)

需要预测数据 \(\widehat{x}\)

其中的桥梁\(\quad \theta\)

\[\begin{equation} \begin{split} p(\widehat{x}|X) = \int_{\theta}p(\widehat{x},\theta|X)d\theta \\ = \int_{\theta}p(\widehat{x}|\theta)p(\theta|X)d\theta \end{split} \end{equation} \]