生成模型和判别模型

1.生成模型是由数据学习联合概率p(x,y)，然后求出条件概率分布p(y|x)做为预测的模型

　　　　即：p(y|x) = p(x,y)/p(x)

　　我们需要求p(x,y)

　　模型：朴素贝叶斯（NB)、隐马尔科夫（HMM）、马尔科夫随机场（MRF）、 Gaussians、      Mixtures of Multinomials、Mixtures of Gaussians、Mixtures of Experts、Latent Dirichlet Allocation

 

2. 判别模型由数据直接学习决策函数f(x)或者条件概率分布p(y|x)，作为预测的模型。

　　模型：线性回归、k近邻（KNN）、决策树（DT）、逻辑回归（LR）、最大熵模型、支持向量机（SVM）、Boosting类算法、随机森林等集成算法、条件按随机场（CRF）、感知机、神经网络