第二次作业

1.设X 是一个随机变量，取值范围是一个包含M个字母的符号集。证明0 ≤H(X) ≤log2M 。

证：

    在x的随机变量中

    当M取值为1时

    H（X）最小

    即H(X)=-∑(P(X₁)*P(X₁))

              =-1*(1/1)*log₂1

              =0

      当M取值大于1时

      取每个字母的概率为P(Xi)

则

    H(X)=-∑p(X_i)*logP(X_i)

            =-M*(1/M)*log₂M

            =log₂M

    综上   有0≤H(X)≤log₂M

 

2.证明如果观察到一个序列的元素为iid 分布，则该序列的熵等于一阶熵。

 证：

    设有序列{X_1，X2_，......，X_n}

则

    G_n=-∑∑...∑p(X₁=a_i1,X2=a_{i2,......X1=ain})logP(X₁=a_i1,X2=a_{i2,......X1=ain})

    每个元素都为独立同分布

则                

    G_n=-n∑p(X₁=a_i)*logP(X₁=a_i)

　H=-∑p(X₁)*logP(X₁) 

    若一个序列的元素为idd分布

    则该序列的熵等于一阶熵

 

3.给定符号集A={a1，a2,a3,a4}，求以下条件的一介熵：

(a)P(a1)=P(a2)=P(a3)=P(a4)=1/4

(b)P(a1)=1/2,P(a2)=1/4,P(a3)=P(a4)=1/8

(c)P(a1)=0.505,P(a2)=1/4,P(a3)=1/8,P(a4)=0.12

 

解：

         H（a）=-4*1/4*log₂1/4

                   =2 bit

 

    

         H（b）=-(1/2*log₂1/2+1/4*log₂1/4+2*1/8*log₂1/8)

                   =-(-1/2-1/2-3/4)

                   =7/4 bit

 

　　

          H(c) =-(-0.505 log(0.505)-1/4 log(1/4)-1/8 log(1/8)-0.12 log(0.12) 

                 ≈0.15+1/2+3/8+0.11

                 =1.135 bit