第三章 贝叶斯决策与学习

贝叶斯决策与学习

贝叶斯决策与Map分类器

后验概率

贝叶斯规则

Map分类器

  • Map分类器决策边界

Map分类器：高斯观测概率

观测概率：单维高斯分布

  • 高斯观测概率：决策边界
    当

    当

    Map分类器解决了MICD分类器存在的问题：方差不同时，倾向于方差较小的一类

观测概率：高维高斯分布

决策风险与贝叶斯分类器

决策风险的概念

Map分类决策不能排除出现错误判断的情况，由此会带来决策风险

损失的概念

决策风险的评估

贝叶斯分类器

  • 决策损失
    样本的决策损失之和
  • 决策目标
    最小化期望损失

朴素贝叶斯分类器

最大似然估计

  • 目标函数
  • 均值估计
  • 协方差估计

最大似然估计偏差

高斯分布协方差的最大似然估计是有偏的

贝叶斯估计

  • 概念：
  • 参数的后验概率
    image.png
  • 高斯观测似然
    image.png
  • 高斯均值后验概率
    image.png
    image.png
    image.png

KNN估计

image.png

  • 原理
    image.png
posted @ 2020-05-04 13:22  宋奕  阅读(376)  评论(0)  编辑  收藏  举报