youngf

摘要： 熵是信息论非常重要的概念。本文简要介绍一下几个概念： 熵 联合熵 条件熵 相对熵 交叉熵 熵 随机变量$X$的分布的熵为： \[ H(X) = - \sum_x p(x)\log p(x) \] 性质： 熵是随机变量不确定性的度量，随机变量的取值个数越多，不确定性越大，混乱程度就越大，信息熵越大。 阅读全文