第二次作业

1.设X 是一个随机变量，取值范围是一个包含M个字母的符号集。证明0 ≤H(X) ≤log₂M 。

 

2.证明如果观察到一个序列的元素为iid 分布，则该序列的熵等于一阶熵。

证明：

 

如果序列{X₁，X₂，.....,X_n}中每个元素为独立同分布（iid），则

G_n = -n∑^i=m  _i=1 p(X₁ =a_i)logP(X₁ =a_i)

H(S)=-∑P(x₁)logP(X₁)  一阶熵

 

3.给定符号集A={a1，a2,a3,a4}，求以下条件的一介熵：

(a)P(a1)=P(a2)=P(a3)=P(a4)=1/4

(b)P(a1)=1/2,P(a2)=1/4,P(a3)=P(a4)=1/8

(c)P(a1)=0.505,P(a2)=1/4,P(a3)=1/8,P(a4)=0.12

 

 

1.解:
证：(1)0≤ H(X)           ∵H(X)=∑P(Xi)M(Xi) (i=1....M)
               又∵P(Xi)≥0   ∴0≤ H(X)
         (2)H(X)≤log2M    ∵H(x)=-∑P(Xi)log2P(Xi) (i=1....M)
               0≤P(Xi)≤1         H(X)≤log2

2.解:
证：由香农证明的：对于一个平稳的信源，在极限的情况      下，这个值将收敛于熵  
                                                  H（s）=lim 1/n h2
如果观察到一个序列的元素为idd发布，则
                                               Gn=-nΣp（x1=i1）logp（x1=i1）
熵就是：
             H(S)=-ΣP(X1)logp（x1）
而一阶熵为
             H=∑P(Xi)i(Xi)=-∑p(Xi)㏒p(Xi)
             ∴H=H(s)
所以如果观察到一个序列的元素为idd发布，则该序列的熵等于一阶熵正确


3.解：（a）一阶熵为：
                       -1/4*4*log21/4
                     =-log22-2
                     ≈2(bit)
            （b）一阶熵为：
                     -1/2log21/2-1/4*log21/4-2*1/8*log21/8
                  =1/2+1/2+3/4
                  =7/4
                 ≈1.75(bit)
             （c）一阶熵为：
                      -0.505*log20.505-1/4*log21/4-1/4*log21/4-0.12*log20.12
                 =-0.505*log20.505+1/2+1/2-0.12*log20.12
                = 0.5+1-0.12*log20.12
                = 1.5+0.3672
                ≈1.8672（bit）