Classification：Probabilistic Generative Model

Classification:Probabilistic Generative Model(概率生成模型)

应用

• credit scoring(金融贷款)
  • input：某个人的收入，存款，工作，年龄，历史欠债情况等
  • output：同意或拒绝
• medical diagnosis(医疗诊断)
  • input：某个人的症状，年龄，性别，就医史等
  • output：患病类型
• handwritten character recognition(手写文字识别)
  • input：手写的字
  • output：这个字属于什么类别
• face recognition(人脸识别)
  • input：脸的图片
  • output：对应的人

可以把分类问题当做回顾问题来解吗？

不可以，regression定义model好坏的方法不适用于classification

注意到regression的output是一个real number，但是在classification中，它的output是discrete(用来表示某一个class)

理想的方法

1. 要找的function\(f(x)\)里会有另一个function\(g(x)\)。当输入x后:
   1. if \(g(x)>0\)，则\(f(x)=class 1\);
   2. if \(g(x)<0\)，\(f(x)=class 2\)

这个方法保证了function输出的都是离散的表示class的数值

2. 把loss function定义为\(L(f)=\sum^{n}{\delta(f(x^n))\neq{y^n}}\)，即这个model在所有training data上预测错误的次数，分类错误的次数越少，这个function表现得就越好

3. 找到表现最好的function

建立概率生成模型的步骤

1. 求先验概率(统计历史上的惊艳和数据得到的概率)
2. 选择概率分布函数，用最大似然估计出分布函数的参数
3. 求出后验概率(由果求因)