第二次作业

1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

证明：

 

2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

 

3.给定符号集A={a₁,a₂,a₃,a₄},求以下条件的一阶熵：

(a) P(a₁)=P(a₂)=P(a₃)=P(a₄)=1/4

     H_max=logM=log₂4=2

(b) P(a₁)=1/2, P(a₂)=1/4, P(a₃)=P(a₄)=1/8

     H=-∑p(ai)logp(ai)=-1/2*log1/2-1/4*log1/4-2*1/8*log1/8=7/4

(c) P(a₁)=0.505, P(a₂)=1/4, P(a₃)=1/8, P(a₄)=0.12

  H=-∑p(ai)logp(ai)=-0.505*log0.505-1/4*log1/4-1/8*log1/8-0.12*log0.12