摘要：信息熵的公式： 信息量： 信息量是对信息的度量，也相当于理论上所需的存储空间。信息量的大小与事件发生的概率成反比，因为越大概率的事件使人产生的印象越小，从而信息量也就越小。 令事件x的信息量为h(x)，x、y为两个不相关事件，显然满足以下性质：h(x,y) = h(x) + h(y)又有 p(x,y 阅读全文