第二次作业

1.设x是一个随机变量,取值范围是一个包含M个字母的符号集。证明0<=H(X)<=log₂M。

 答：  当M=1时，则p(X)=1,此时

   H(X)=-∑(P(X₁)*P(X₁))

          =-1*(1/1)*log₂1=0

    H(X)最小；

   当M>1时，概率相等，都为p(X_i)，此时

    H(X)=-∑p(X_i)*logP(X_i)

          =-M*(1/M)*log₂M=log₂M

   H(X)最大；

   所以 0≤H(X)≤log₂M

 

2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

答：设序列{X_1，X2_，......，X_n}，G_n=-∑∑...∑p(X₁=a_i1,X2=a_{i2,......X1=ain})logP(X₁=a_i1,X2=a_{i2,......X1=ain})

      每个元素独立同分布，所有 G_n=-n∑p(X₁=a_i)*logP(X₁=a_i)

　 　H=-∑p(X₁)*logP(X₁) 

      综上命题即得证。

 

3.给定符号集A={a₁,a₂,a₃,a₄},求以下条件下胡一阶熵：

 (a)P(a₁)=P(a₂)=P(a₃)=P(a₄)=1/4

    H(a)=-4×1/4 log(1/4)

          =-log(1/4)=2 bit/字符

 (b)P(a₁)=1/2, P(a₂)=1/4, P(a₃)=P(a₄)=1/8

    H(b)=-1/2 log(1/2)-1/4 log(1/4)-2×1/8 log(1/8)

           =1/2+1/2+3/4=1.75 bit/字符

 (c)P(a₁)=0.505, P(a₂)=1/4, P(a₃)=1/8, P(a₄)=0.12

     H(c)=-0.505 log(0.505)-1/4 log(1/4)-1/8 log(1/8)-0.12 log(0.12)

           =0.15+1/2+3/8+0.11=1.135 bit/字符