编码理论|纠错码

纠错编码

基本概念

译码失败

译码器根据接收到的信号无法作出明确判断

译码错误

译码器根据接收到的信号作出错误判断

完备译码

根据接收信号，译码器一定能作出是哪一组信息的判断

错误图样

发送序列\(C: (1111011000)\)
接收序列\(R: (0110010110)\)
比较C和R，可写出另一个序列\(E：1001001110\)
序列E定义为错误图样\((Error Pattern)\)
\(R = C + E\)

汉明距离

两个n重x、y之间，对应位取值不同的个数，称为它们之间的汉明距离，用d(x，y)表示
例如，若x:(10101)，y： (01111)，则d(x，y)＝3

汉明重量

n重x中非零码元的个数，称为它的汉明重量， 简称重量，用w(x)表示
例如，若x： (10101)，则w(x)＝3。若y： (01111)，则w(y)＝4

最小汉明距离

(n，k)分组码中，任两个码字之间距离的最小值， 称为该分组码的最小汉明距离d0，简称最小距离
\(d_0 = min_{x,y \in (n,k)}{d(x,y)}\)

香农通信的数学理论

只要信息传输速率低于信道容量,通过对信息适当进行编码,可在不牺牲信息传输或存储速率的情况下,将有噪信道或存储媒质引入的差错减到任意低的程度

信道编码的种类

分组码

把信源输出的信息序列，以k个码元划分为一段， 通过编码器把这段k个信息元按一定规则产生r个校验(监督)元， 输出长为n＝k+r的一个码组。因此每一码组的校验元仅与本组的信息元有关，而与别组无关。分组码用(n，k)表示，n表示码长，k表示信息位。包括线性分组码、汉明码、循环码

卷积码

把信源输出的信息序列，以k0个(k0通常小于k)码元分为一段，通过编码器输出长为n0(≥k0)一段的码段。 但是该码段的n0-k0个校验元不仅与本组的信息元有关，而且也与其前m段的信息元有关，称m为编码存贮。因此卷积码用(n0，k0，m)表示。
差错控制系统

重复码

若将每个比特重复n次，则构成一个码长为n，信息位长度为1的(n,1)重复码,且编码效率(码率)R=1/n
其他所有二进制组合为禁用码组(字)
n=2
许用码字:00 11
禁用码字:01 10
可以发现一个错误，但是无法纠正错误
n=3时
可以纠正一个错误，发现一个错误

纠错码的本质

利用冗余降低差错概率，即在信息序列之后按照一定的规则添加一定长度的保护比特(校验比特或监督比特)
纠错编码的基本任务之一就是构造出\(R\)一定、 \(d_0\)尽可能大的码；或\(d_0\)一定、\(R\)尽可能高的码

码纠错能力

随着码长\(n\)的增加，重复码的\(d_0＝n\)越来越大，抗干扰能力越来越强，即\(\frac{d}{n}＝1\)，误码率也越来越小，但码率\(R＝\frac{1}{n}\)却越来越低，并随着n的增加而趋近于零
任一\((n，k)\)分组码，若要在码字内：
(1) 检测\(e\)个随机错误， 则要求码的最小距离\(d≥e+1\)
(2) 纠正\(t\)个随机错误，则要求\(d≥2t+1\)
(3) 纠正\(t\)个随机错误，同时检测\(e(≥t)\)个错误，则要求\(d≥t+e+1\)

奇偶校验码

只有一个校验元的\((n,n-1)\)分组码
确保每个码字中1个数为偶数
由上看出，\((n，n-1)\)奇偶校验码。当它的\(n→∞\)时，\(R→1\)，但\(d＝2，d／n→0\)，译码误码率\(p→p_e\)，接近未编码时的情况。 即随着码长的增加，抗干扰能力接近于零

信道编码定理

每个信道具有确定的信道容量C，对任何小于C的码率R，存在有速率为R码长为n的分组码及\((n_0，k_0，m)\)卷积码，若用最大似然译码，则随着码长的增加其译码错误概率\(p\)可任意小， 即
\(p \leq A_be^{-nE_b(R)}\)
\(p\leq A_ce^{-(m+1)n_0E_c(R)} = A_ce^{-n_cE_c(R)}\)
为了满足一定误码率p的要求，可用以下两类方法实现：
一是增加信道容量C
另一种方法是在R一定下，增加分组码长n(也就是增加分组信号持续时间T)
研究纠错编码的意义：保持一定的信息传输效率条件下，通过编译码来降低误码率以实现可靠通信，并且要求译码器尽可能简单
\(M\to C\to R\)
如何根据接受信号\(R\)估计发送序列\(C'\)进而估计信息\(M'\)，设计译码算法的原则：使译码错误概率最小
\(P_E=\sum _R P(E|R)P(R)\)
\(P(E|R)=P(C \neq C'|R)\)