朴素贝叶斯

主要利用朴素贝叶斯p(yj|x) = p(x|yj)p(yj)/ p(x)计算出假定样本x，计算这个样本x属于yj类的概率，将计算结果中选出最大的概率对应的yj类作为这个样本的分类，
其中假设各个属性之间相互独立。
max p(yj|x) ~ max p(x|yj)p(yj) = p(x1|yj)..p(xi|yj)..p(xn|yj) p(yj) 其中x = (x1,x2,xi..xn)，p(xi|yj)和 p(yj)可以根据给定的样本计算出来
在计算p(x1|yj)..p(xi|yj)..p(xn|yj) 其中p(xi|yj)= n(xi,nj) /(n(nj)，即yj类样本集中x属性=xi的概率，其中某个属性对应某个值xi这种样本数较小导致p(xi|yj) -》 0使得p(yj|x) -》0，影响分类效果般会对p(xi/yj)做M估计处理，如p(xi/yj) = (n(xi,nj) + m*pi)/(n(nj)+m)
根据p(xi/yj)的不同计算规则可以将朴素贝叶斯分为三类
1 高斯朴素贝叶斯
p(xi/yj)为高斯函数

 

 

2 多项式朴素贝叶斯
p(nj) = (n(j) + a)/ (N + K*a) ,p(xi/yj) = (n(xi,nj) + a)/(n(nj)+n*a)
其中K ：总的类别个数 N：样本数  a：平滑值  n ：特征xi可以选择的数量

 

 

3 伯努利朴素贝叶斯
伯努利模型适用于离散特征的情况，伯努利模型中每个特征的取值只能是1和0
p(xi/yj) = p(i|yj)xi+(1-p(i|yj))(1-xi)