第三章 贝叶斯决策与学习

贝叶斯决策与学习

贝叶斯决策与Map分类器

后验概率

贝叶斯规则

Map分类器

• Map分类器决策边界
  

Map分类器：高斯观测概率

观测概率：单维高斯分布

• 高斯观测概率：决策边界
  当
  
  当
  
  Map分类器解决了MICD分类器存在的问题：方差不同时，倾向于方差较小的一类

观测概率：高维高斯分布

决策风险与贝叶斯分类器

决策风险的概念

Map分类决策不能排除出现错误判断的情况，由此会带来决策风险

损失的概念

决策风险的评估

贝叶斯分类器

• 决策损失
  样本的决策损失之和
• 决策目标
  最小化期望损失
  

朴素贝叶斯分类器

最大似然估计

• 目标函数
  
• 均值估计
  
• 协方差估计
  

最大似然估计偏差

高斯分布协方差的最大似然估计是有偏的

贝叶斯估计

• 概念：
  
• 参数的后验概率
  
• 高斯观测似然
  
• 高斯均值后验概率
  
  
  

KNN估计

• 原理