《统计学习方法》笔记六（2） 最大熵模型

本系列笔记内容参考来源为李航《统计学习方法》

知识概要

 

最大熵原理认为学习概率模型时，熵最大的模型是最好的模型。

设离散随机变量X的概率分布是P(X)，则其熵是 

最大熵模型定义

首先考虑模型应满足的条件，给定训练数据集，可确定联合分布P（X,Y）的经验分布和边缘分布P（X）的经验分布

最大熵模型的学习

 

书中将约束最优化的原始问题转换为无约束最优化的对偶问题，通过求解对偶问题求解原始问题。