摘要：首先定义事件xi的信息量为其发生概率对数的负数，记为I(x_i)，有： I(xi)=−logp(xi) 信息熵H(X)即为随机变量X的平均信息量（期望） 联合熵 条件熵 熵的链式法则 例 阅读全文