贝叶斯决策论
贝叶斯决策论也叫做贝叶斯判定准则，英文是 Bayes decision rule。
它核心思想是：期望风险最小化可以转化为后验分布最大化
期望风险的公式是：
\[R_{exp}(f) = E[L(Y,f(X))] = \int_{x \times y} L(y,f(x))P(x,y) dxdy$$其中$L$是损失函数，$P(x,y)$是$x$和$y$的联合概率分布。
损失函数取0-1损失：
$$L(Y,f(X))= \left\{ \begin{aligned} 0, & \ \ f(X)=Y \\ 1, & \ f(X) \neq Y \end{aligned} \right.\]
可以将期望风险函数转化，将上面的Y用条件概率展开：
\[R_{exp}(f) = E_X \sum_{k=1}^{K} [L(c_k,f(X))] P(c_k |X)$$这里$c_k$是$y$可以取得的各种值.
为了使得总体的风险最小，那么要使得每一个取值$X=x$的损失最小，结合0-1损失可得：
$$\begin{align*}
f(x) &= \arg \min \limits_y \sum_{k=1}^{K} L(c_k,y) P(c_k |X=x) \\
& =\arg \min \limits_y \sum_{k=1}^{K}P(y \neq c_k|X = x) \\
& =\arg \min \limits_y (1-P(y = c_k|X = x)) \\
& = \arg \max \limits_y P(y = c_k|X = x)
\end{align*}\]
这样，期望风险最小化就转化为后验概率最大化：
\[f(x) = \arg \max \limits_{c_k} P(c_k|X = x)
\]
这样我们可以从后验概率最大化的角度来对模型进行分析，直接建模来求解\(P(c|x)\)的模型叫做判别式模型，直接对联合概率\(P(c,x)\)进行建模，然后求解\(P(c|x)\)的模型叫做生成式模型。
参考：李航《统计学习方法》
