第二次作业

1.    

      由题意得，在x的随机变量中

      当M取值为1时，H（X）最小

       即H(X)=-∑(P(X₁)*P(X₁))=-1*(1/1)*log₂1=0

     当M取值大于1时，取每个字母的概率为P(Xi)，则

　　H(X)=-∑p(X_i)*logP(X_i)=-M*(1/M)*log₂M=log₂M

     综上所述，0≤H(X)≤log₂M得证。

2.

         因为熵H(X)=lim_n→∞（1/n）*Gn

          Gn=-∑i1=1i1=m∑i2=1i2=m.....∑in=1in=mP(X1=i1,X2=i2,....Xn=in)*logP(X1=i1,X2=i2,....Xn=in)

          因为该序列被观察到每个元素是独立同（idd）分布的，所以

          Gn=-n∑i1=1i1=mP(X1=i1)*logP(X1=i1)，则

          H(X)=-∑P(X1=i1)*logP(X1=i1)为一阶熵。

3.

     （a）一阶熵为：-1/4*4*log21/4=-log22-2=2(bit)

     （b）一阶熵为： -1/2log21/2-1/4*log21/4-2*1/8*log21/8=1/2+1/2+3/4=7/4=1.75(bit)

      （c）一阶熵为： -0.505*log20.505-1/4*log21/4-1/4*log21/4-0.12*log20.12=-0.505*log20.505+1/2+1/2-0.12*log20.12

                                = 0.5+1-0.12*log₂0.12= 1.5+0.3672=1.8672（bit）