第二次作业

1.设x是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

答：

  当M=1时；

  即： H(x)=-ΣP(x_i=a_i)*logP(x_i=a_i)

            =0

 当M≠0 时

 H(x)=-ΣP(x_i=a_i) logP(x_i=a_i)

             =-M*1/M*log₂M

             =log₂M

即：H(x)=log₂M

所以：0≤H(X)≤log₂M。

2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

答：

   由于H(x)=lim_n→∞(1/n*G_n)，则

   Gn=-Σ_i=n ......Σ_i=1 P(A_i) logP(x1=i1,x2=i2,...,xn=in) * log(x1=i1,x2=i2,...,xn=in)

   当该序列为iid分布时，得到

   G_n=-nΣ_i=1P(x1=i1) logP(x1=i1)

   即得:    

    H(x)=-ΣP(x1) logP(x1)   为一阶熵

3.给定符号集A={a₁,a₂,a₃,a₄},求以下条件下的一阶熵：

(a)P(a₁)=P(a₂)=P(a₃)=P(a₄)=1/4

(b)P(a₁)=1/2,P(a₂)=1/4,P(a₃)=P(a₄)=1/8

(c)P(a₁)=0.505,P(a₂)=1/4,P(a₃)=1/8,P(a₄)=0.12

答：

(a)由一阶熵公式得:

    H(x)=-4×1/4 log(1/4)=-log(1/4)=-(-2)=2 bit

(b)由一阶熵公式得:

    H(x)=-1/2 log(1/2)-1/4 log(1/4)-2×1/8 log(1/8)

          =1/2+1/2+3/4=7/4

          =1.75 bit

(c)由一阶熵公式得:

    H(x)=-0.505log0.505-1/4log1/4-1/8log1/8-0.12log0.12

           ≈0.15+1/2+3/8+0.11

            =1.135 bit