摘要：
我曾经讲过如何度量两个随机变量之间的独立性和相关性，今天来讲一下如何度量两个概率分布之间的相似度。 在概率论中，f散度用来度量两个概率分布$P$和$Q$之间的距离，距离函数具有如下形式： \begin{equation}D_f(P||Q) \equiv \int_{\Omega}f\left(\fr 阅读全文
摘要：
最大熵模型 最大熵模型的思想是在满足已知条件的情况下，不对未知情况做任何有偏的假设，这样得到的模型预测风险最小。 满足已知条件，且不对未知情况做任何有偏的假设，即认为未知情况各种事件发生的概率相等，这实际上就是说条件熵最大。 $$max \; H(Y|X)=-\sum_i{\sum_j{p(x_i, 阅读全文