判别模型和生成模型

所有机器学习算法的目标就是求得一个决策函数$y=f(x)$或者说是求得一个条件概率$p(y|x)$。

生成模型:直接求联合概率$p(x,y)$,得到$p(x,y)$后就可以去生成样本。HMM高斯混合模型GMM、LDA、PLSANaive Bayes都属于生成模型。当我们得到HMM模型后,就可以根据初始状态分布$\pi$、状态转移矩阵$A$和发射矩阵$B$去生成一个状态序列及相应的观察序列,即拿着生成模型可以去生成样本。LDA(或PLSA)模型也一样,得到文档下的主题分布$p(z_k|d_i)$及主题下的词分布$p(w_j|z_k)$后,上帝就可以去创作文章了。

判别模型:直接求判别(或者是预测)函数$y=(f(x)$,或者另一种表达:$p(y|x)$。最大熵MaxEnt、人工神经网络ANN、逻辑回归LR、线性判别分析LDAK-MeansKNNSVM决策树都属于判别模型。最大熵直接去求$p(y|x)$,它不会浪费功夫去求$p(x,y)$。同样KNN也不关心样本是如何生成的,它只会对样本进行分类。

由生成模型可以得到判别模型,因为$p(y|x)=\frac{p(x,y)}{p(x)}$,但它有2个缺点:

  1. 需要额外地去求$p(x)$。
  2. 样本量不足的情况下$p(x)$可能求不准。此时预测$p(y|x)$没有判别模型准。

生成模型也有它的优点:

  1. 可以生成样本,反应样本本身的相似度。比如LDA中得到了$p(z_k|d_i)$就相当于得到了文档向量,可以去计算向量之间的相似度。
  2. 当含有隐含变量时,也可以用生成模型,但不能用判别模型。比如HMM、GMM、LDA、PLSA模型都可以用EM算法求解。
posted @ 2017-06-30 18:03  张朝阳  阅读(1354)  评论(0编辑  收藏