编码理论|限失真信源编码

失真是一定存在且是允许存在的
信源无失真编码——冗余度压缩，保墒
信源限失真编码——熵压缩

失真度的定义

失真矩阵D
\(D = [d(U_i,v_j)] i \in n,j \in m\)
平均失真度
\(d = E[d(u,v)] = \sum \sum p(uv)d(u,v)\)
序列的失真度等于序列中对应的单符号的失真度之和

率失真函数R(D)

定义

\(R(D) = min{I(U;V)}\)
\(P_D = {p(v|u):d \leq D}\)
信道容量 \(C = max{I(U|V)}\)
率失真函数描述信源的可压缩性
信道容量描述信道的传输能力

性质

定义域

\(D_{min}=0\)的条件：失真矩阵的每一行都至少有一个0
直观理解表示信源不允许任何失真，传输的信息应等于信源输出的信息量
\(R(D_{min}) = H(X)\)

函数性质

D的下凸函数
单调递减性和连续性
对于无记忆信源
\(R_N(D) = N*R_1(D)\)

限失真信源编码定理

香农第三定理

设离散无记忆信源的率失真函数为\(R(D)\)，如果信源编码后平均每个信源符号的信息传输率\(R’ > R(D)\)，则一定存在一种信源编码 \(C\)，使编码后的平均失真度\(d(C)\leq D\)

逆定理

设离散无记忆信源的率失真函数为\(R(D)\)，如果信源编码后平均每个信源符号的信息传输率\(R’ < R(D)\)，则无论采用什么编译码方式，一定有平均失真度\(d(C) > D\)