摘要： 1. 设X 是一个随机变量，取值范围是一个包含M个字母的符号集。证明0 ≤H(X) ≤log2M 。 证明： M=1时， H(X)=-∑(P(Xi)*log2P(Xi))=-(1*log21)=0,此时H(X)最小； M>1，取字母的概率P(Xi)相等为1/M时， 则H(X)=-∑(P(Xi)*lo 阅读全文