140705010032 张少威 第2次作业

1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0 ≤ H(X) ≤ log₂M。

证：由题意得:

　　　　　　X={m1,m2,...,mn} （包含M个字母）

　　1） 当M=1时，H(X)最小

　　　　即 H(x)=-ΣP(xi=ai)*logP(xi=ai)

　　　　=1*log(1)

　　　　=0

　　　　从而 H(x)min=0

　　2） 当M≠0时，由 H(x)=-ΣP(xi=ai) logP(xi=ai)

　　　　=-M*1/M*log2M

　　　　=log2M

　　　　即是 H(x)max=log2M

　　　　综上可知，0≤H(x)≤log2M 。

 

2.证明：如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

证：由题意得:

　　　　H(X)=limn→∞1/n*Gn

　　　　Gn=-∑i1∑i2.....∑inP(X1=i1,X2=i2,....Xn=in)*logP(X1=i1,X2=i2,....Xn=in) i1，i2....in=1...m

　　　　如果序列为iid序列分布，则

　　　　Gn=-n∑i1P(X1=i1)*logP(X1=i1)，i1=1...m

　　　则：

　　　　H(X)=-∑P(X1=i1)*logP(X1=i1)为一阶熵。

 

3.给定符号集A={a₁,a₂,a₃,a₄},求一下条件下的一阶熵。

⑴ P(a₁) = P(a₂) = P(a₃) = P(a₄) = 1/4 。

 

答：　　一阶熵为：

　　　　　　　　  ( - 1/4 ) * 4 * ( log₂ 1/4 )

　　　　　　　　= - ( log₂ 2 ) - 2

　　　　　　　　= 2 (bit)

 

 

⑵ P(a₁) = 1/2 ，P(a₂) = 1/4 ，P(a₃) = P(a₄) = 1/8 。

 

答：　　一阶熵为：

　　　　　　　　  -( 1/2 * (log₂ 1/2) ) - ( 1/4 * (log₂ 1/4 ) ) - ( 2 * 1/8 * (log₂ 1/8 ))

　　　　　　　　= 1/2 + 1/2 + 3/4

　　　　　　　　= 7/4

　　　　　　　　= 1.75(bit)

 

 

⑶ P(a₁) = 0.505 ，P(a₂) = 1/4 ，P(a₃) = 1/8 , P(a₄) = 0.12 。

 

答：　　一阶熵为：

　　　　　　　　  - ( 0.505 * (log₂ 0.505) ) - ( 1/4 * (log₂ 1/4 ) ) - ( 1/4 * (log₂ 1/4 ) ) - ( 0.12 * ( log₂ 0.12 ) )

　　　　　　　　= - ( 0.505 * ( log₂ 0.505 ) ) + 1/2 + 1/2 - ( 0.12 * ( log₂ 0.12 ) )

　　　　　　　　= 0.2967 + 1-0.12 * log₂ 0.12

　　　　　　　　= 1.2967 - 0.12 * log₂ 0.12（bit）