概率图模型之生成式模型与判别式模型

概率图模型
生成式模型与判别式模型
假设可观测到的变量集合为 X XX，需要预测的变量集合为 Y YY，其他的变量集合为 Z ZZ。生成式模型是对联合概率分布 P ( X , Y , Z ) P(X,Y,Z)P(X,Y,Z) 进行建模，在给定观测集合 X XX 的条件下，通过计算边缘分布来得到对变量集合 Y YY 的推断，即

 

 

判别式模型是直接对条件概率分布 P ( Y , Z ∣ X ) P(Y,Z|X)P(Y,Z∣X)进行建模，然后消掉无关变量 就可以得到对变量集合 Z 的预测，即

 

 

常见的概率图模型由朴素贝叶斯、最大熵模型、贝叶斯网络、隐马尔可夫模型、条件随机场、pLSA、LDA等。基于上面对生成式模型与判别式模型的区分，可以知道朴素贝叶斯、贝叶斯网络、pLSA、LDA等模型都是先对联合概率分布进行建模，然后再通过计算边缘分布得到对变量的预测，所以它们都属于生成式模型；而最大熵模型是直接对条件概率分布进行建模，因此属于判别式模型。隐马尔可夫模型和条件随机场模型是对序列数据进行建模的方法，隐马尔可夫模型属于生成式模型，条件随机场属于判别式模型。