[数据挖掘课程笔记]Naïve Bayesian Classifier

朴素贝叶斯模型

      1) X:一条未被标记的数据

      2) H:一个假设，如H=X属于C_i类

      根据贝叶斯公式

 

 

       把X表示为（x₁,x₂,....x_n） x₁,x₂,....x_n表示X在各个特征上的值。

       假设有c_1,c_2,c_3...c_m个类别。

       那么这个对X的分类问题就可以转化为找出使P（c_i|X）最大的类别c_i作为分类结果

 

        由于我们只需要找出P（c_i|X）的相对最大值，那么即找出P（X|c_i）P（c_i）的最大值即可

      N为整个训练集的个数

      P（c_i）=count(c_i)/N

      假设X的各个属性是相互独立的：

   

       那么，如何求P（x_i|c_j）呢？

     若第i个属性是离散型的，那么 P（x_i|c_j） =  所有分类为c_j并且第i个属性值等于x_i的数据个数/所有分类为c_j的数据个数

     若第i个属性是连续型的，假设这个连续型属性服从高斯分布：

   

     那么

    其中μ_ci为所有数据类型为c_i并且第i个属性值为x_i的平均值

          为所有数据类型为c_i并且第i个属性值为x_i的方差