摘要： 熵(entropy） 在信息论和概率统计中，熵用来度量随机变量的不确定性.假设$X$是一个取有限值的离散型随机变量，它的概率分布可写为： $$ P(X=x_i) = p_i, \quad i = 1, 2, ..., n \tag{1} $$ 那么随机变量$X$的熵就可以定义为： $$ H(X) = 阅读全文