机器学习---朴素贝叶斯算法理论基础

 数学基础

     概率

　　

              概率：随机事件A发生的可能性，记为P(A)

      条件概率与贝叶斯公式　　　

条件概率：在事件B发生的情况下事件A发生的概率，记为P(A|B)

 

　　　　        

数学原理与抽象表达

    分类问题：

朴素贝叶斯是这样理解分类问题的：

         已知：一定量的训练样本X₀、Y₀，特征条件X

         求：X对应类别输出

  解析:

         假设Y有m种类别，分别计算条件概率P(Y=Y1|X)，….. P(Y=Yi|X)    , P(Y=Ym|X)   比较

         将条件概率值最大的类别作为X的输出。于是分类问题转化为求解条件概率值

　　　　　

     贝叶斯算法步骤：

第一步：

                         

第二步：

                    计算P(Y=Y1|X)，….. P(Y=Yi|X)  ，将最大值的类别作为试验类别输出

具体示例（《统计学习方法》

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
X1	1	1	1	1	1	2	2	2	2	2	3	3	3	3	3
X2	S	M	M	S	S	S	M	M	L	L	L	M	M	L	L
Y	-1	-1	1	1	-1	-1	-1	1	1	1	1	1	1	1	-1

           确定X(2,S)的类别

        贝叶斯计算：

                第一步：

                                P(Y=-1) = 9/15，P(Y=1)=6/15

                               P(X1=1|Y=1) = 2/9 （在Y=1的条件下X1为1的概率），P(X1=2|Y=1) = 3/9，P(X1=3|Y=1) = 4/9

                               P(X2=S|Y=1) = 1/9，P(X2=M|Y=1) = 4/9，P(X2=L|Y=1) = 4/9

                              P(X1=1|Y=-1) = 3/6，P(X1=2|Y=-1) = 2/6，P(X1=3|Y=-1) = 2/6

                               P(X2=S|Y=-1) = 3/6，P(X2=M|Y=-1) = 2/6，P(X2=L|Y=-1) = 1/6

                第二步:

                                P(X1=2|Y=1)P(X2=S|Y=1)P(Y=1)=3/9 * 1/9 * 9/15 = 1/45

                                P(X1=2|Y=-1)P(X2=S|Y=-1)P(Y=-1)=2/6 * 3/6 * 6/15 = 1/15    因此将Y=-1作为X（2,S）的类别输出。