第二次作业

1. 设X 是一个随机变量，取值范围是一个包含M个字母的符号集。证明0 ≤H(X) ≤log2M 。

证明： M=1时， H(X)=-∑(P(X_i)*log₂P(Xi))=-(1*log₂1)=0,此时H(X)最小；

         M>1，取字母的概率P(X_i)相等为1/M时，

         则H(X)=-∑(P(X_i)*log₂P(Xi))=-M(1/M*log₂ 1/M)=log₂M，此时H(X)最大。

         所以0≤H(X)≤log₂M

2. 证明如果观察到一个序列的元素为iid 分布，则该序列的熵等于一阶熵。

证明：因为熵H(X)=lim_n→∞（1/n）*Gn

          Gn=-∑i1=1i1=m∑i2=1i2=m.....∑in=1in=mP(X1=i1,X2=i2,....Xn=in)*logP(X1=i1,X2=i2,....Xn=in)

          因为该序列被观察到每个元素是独立同（idd）分布的，所以

          Gn=-n∑i1=1i1=mP(X1=i1)*logP(X1=i1)，则

          H(X)=-∑P(X1=i1)*logP(X1=i1)为一阶熵。

3.给定符号集A={a1，a2,a3,a4}，求以下条件的一介熵：

(a)P(a1)=P(a2)=P(a3)=P(a4)=1/4

(b)P(a1)=1/2,P(a2)=1/4,P(a3)=P(a4)=1/8

(c)P(a1)=0.505,P(a2)=1/4,P(a3)=1/8,P(a4)=0.12

解：（a）H(x)=-∑p_i*log p_{i=-4*1/4*log1/4=2;}

     （b）H(x)=-(1/2*log1/2+1/4*log1/4+2*1/8*log1/8)=1/2+1/2+3/4=7/4

     （c）同理代用公式用计算器求得

H(x)=)=-[0.505*log₂0.505+1/4*log₂₍1/4)+1/8*log₂₍1/8)+0.12*log20.12]

          =0.498+0.5+0.375+0.367=1.74