《数据压缩》第二次作业

姓名：黄小梅      学号：140705010020

参考书《数据压缩导论（第4版）》

Page 30: 1、2、3

  1、设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

      证：

         假设M=1， 则H(X)=-∑P(X_i)*log₂P(Xi)=-(1*log₂1)=0,此时H(X)为最小

         当M>1且取包含每个字母的概率P(X_i)相等即为1/M时

         则H(X)=-∑P(X_i)*log₂P(Xi)=-M(1/M*log₂ 1/M)=log₂M

         又因熵具有极值性，所以此时H(X)最大

         所以说0≤H(X)≤log₂M。

 

  2、证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

      证：

          由于熵H(X)=lim_n→∞（1/n）*Gn

          Gn=-∑i₁=1i₁=m∑i₂=1i₂=m.....∑i_n=1i_n=mP(X₁=i₁,X₂=i₂,....X_n=i_n)*logP(X₁=i₁,X₂=i₂,....X_n=i_n)

          又该序列被观察到每个元素是独立同（idd）分布的

          则Gn=-n∑i₁=1i₁=mP(X₁=i₁)*logP(X₁=i₁)，则

          H(X)=-∑P(X₁=i₁)*logP(X₁=i₁)为一阶熵。

 

  3、给定符号集A={a₁,a₂,a₃,a₄}，求以下条件下的一阶熵：

      （a）P(a₁)=P(a₂)=P(a₃)=P(a₄)=1/4

             解：H(A)=-∑P(a_i)*logP(a_i)=-（4*1/4*log1/4）=2 bit/字符。

      （b）P(a₁)=1/2，P(a₂)=1/4，P(a₃)=P(a₄)=1/8

             解：H(A)=-∑P(a_i)*logP(a_i)=-（1/2*log1/2）-（1/4*log1/4）-（2*1/8*log1/8）=1/2+1/2+3/4=1.75 bit/字符。

      （c）P(a₁)=0.505，P(a₂)=1/4，P(a₃)=1/8，P(a₄)=0.12

             解：H(A)=-∑P(a_i)*logP(a_i)=-（0.505*log0.505）-（1/4*log1/4）-（1/8*log1/8）-（0.12*log0.12）

                                                 =-（0.505*log0.505）+1/2+3/8-（0.12*log0.12）

                                                 =7/8-（0.505*log0.505）-（0.12*log0.12）。