七月算法--12月机器学习在线班-第十三次课笔记—贝叶斯网络

七月算法--12月机器学习在线班-第十三次课笔记—贝叶斯网络

七月算法（julyedu.com）12月机器学习在线班学习笔记http://www.julyedu.com

 

1.1 贝叶斯公式带来的思考：给定结果推原因；

1.2朴素贝叶斯的假设

      1，一个特征出现的概率，与其他特征(条件)独立(特征独立性)

      2， 每个特征同等重要

例如：文本分类 ，词出现为1，不出现为0

     贝叶斯公式：

    分解：

 

       拉普拉斯平滑

      判断两个文档的距离：夹角余弦

      判断分类器的正确率：交叉验证

若一个词出现的次数多，一个次少，则可以采用计数的方法（但以往的经验，效果一般）

1.3贝叶斯网络

贝叶斯网络：有向无环图模型，一种概率图模型，根据概率图的拓扑结构，考察一组随机变量及其n组条件概率分布

两个随机变量之间有关系，但是不是因果关系

 

1.3.1 简单地贝叶斯网络

上面的式子和右边的图是等价的

1.3.2全连接贝叶斯网络

5个节点的全连接图

1.3.3 正常的贝叶斯网络

    上面的公式和右图是一个意思

          1，x1和x2独立

          2，x6和x7在x4给定的条件下独立

 

 

 

 

         全部随机变量的联合分布：

1.3.4 特殊的贝叶斯网络

       结点形成一条链式网络，称作马尔科夫模型

      只与有关， 与…… 无关

      伪随机发生器：

 

1.3.5 通过贝叶斯网络判定条件独立（三种情况）

          1，第一种情况（tail-to-tail）,

              

         2，第二种(head-to-tail),

             

          3，第三种(head-to-head),

            

          N个节点，N阶的马尔科夫模型：全连接模型

          总结：不要过得累加模型的复杂度，适时使用奥卡姆剃刀(Occam's Razor)。

1.3.6 贝叶斯网络的构建

      生成模型：NB，HMM

      判别模型：SVM，Logistic,RF

     一个例子如下：