摘要： 1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log2M。 证明： 2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。 3.给定符号集A={a1,a2,a3,a4},求以下条件的一阶熵： (a) P(a1)=P(a2)=P(a3)=P(a4)=1/ 阅读全文