贝叶斯决策理论
(学习这部分内容需要花费约1.2小时)
摘要
当我们使用贝叶斯参数估计方法时, 往往是因为我们想作出决策. 在贝叶斯决策理论中, 我们通过最小化期望损失来作出决策. 当我们计算预测分布的众数或期望等统计量时, 这可以被解释为特定损失函数下的决策理论解.
预备内容
为弄清楚贝叶斯决策理论的概念, 需要一些预备知识
- 贝叶斯参数估计(Bayesian parameter estimation): 我们使用贝叶斯参数估计来获得后验, 基于这个后验来构建决策
- 损失函数(loss function): 贝叶斯决策理论的目的是对于特定损失函数, 最小化后验分布下的期望损失.
- 期望和方差(expectation and variance): 贝叶斯决策理论的目的是对于特定损失函数, 最小化后验分布下的期望损失.
学习目标
- 知道如何定义最有决策(根据最小化关于后验的期望损失)
- 推导出某些特定损失函数的估计量
- 0-1损失
- 二次损失
- 绝对损失
核心资源
(阅读/观看其中一个)
付费
- Machine Learning: a Probabilistic Perspective(MLAPP)
简介: 一本非常全面的研究生机器学习教材
位置: Sections 3.1-3.3, pgs. 65-78
[网站]
作者: Kevin P. Murphy
增补资源
(下面的是选修内容, 但您可能发现它们很有用)
付费
- Pattern Recognition and Machine Learning(PRML)
研究生机器学习课程的教科书, 聚焦于贝叶斯方法
位置: Section 2.1, pgs. 68-74
[网站]
作者: Christopher M. BIshop
相关资源
-
[Influence diagrams](https://metacademy.org/graphs/concepts/influence_diagrams)是决策理论问题的图模型形式
