第二次作业

1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0<=H(X)<=log₂^M。

2. 证明如果观察到一个序列的元素为iid 分布，则该序列的熵等于一阶熵。

3.给定符号集A={a1，a2,a3,a4}，求以下条件的一介熵：

(a)P(a1)=P(a2)=P(a3)=P(a4)=1/4

(b)P(a1)=1/2,P(a2)=1/4,P(a3)=P(a4)=1/8

(c)P(a1)=0.505,P(a2)=1/4,P(a3)=1/8,P(a4)=0.12

答：1.

证明：当M个字母相同时，即X=1，H(X)=-∑p(X=ai)logp(X=ai)为最小

          即H(X)=-1*log2¹=0

          当M个字母不同，且每个字母出现的概率均相等时，H(X)为最大值

          H(X)=- ∑p(X=ai)logp(X=ai)=-∑1/M*log2^1/M=log2^M

         综上可得，0<=H(X)<=log2^M

2.

证明：因为熵H(X)=lim_n→∞（1/n）*Gn

          Gn=-∑i1=1i1=m∑i2=1i2=m.....∑in=1in=mP(X1=i1,X2=i2,....Xn=in)*logP(X1=i1,X2=i2,....Xn=in)

          因为该序列被观察到每个元素是独立同（idd）分布的，所以

          Gn=-n∑i1=1i1=mP(X1=i1)*logP(X1=i1)，则

          H(X)=-∑P(X1=i1)*logP(X1=i1)为一阶熵。

3.

（a） H_max=logM=log₂4=2

（b） H=-∑p(ai)logp(ai)=-1/2*log1/2-1/4*log1/4-2*1/8*log1/8=7/4

（c） H=-∑p(ai)logp(ai)=-0.505*log0.505-1/4*log1/4-1/8*log1/8-0.12*log0.12