2.9 编码渐进界

\(RS(k,q):=\{f(\alpha_1),\cdots,f(\alpha_q)|f\in L_{k-1}\}\) 。（\(L_{k-1}\)是\(\mathbb{F}_q[x]\)上次数小于等于\(k-1\)的多项式集合）对于不同的\(f\) ，像这样的赋值映射天然是线性映射，所以我们可以考虑其\(\mathrm{ker}\) ，不难发现此为单射因此\(RS(k,q)\)是\(k\)维的线性空间。
这就是著名的\(\mathrm{RS}\)码的构造，设其参数为\((n,k,d)\) ，则\(d\geq n-k+1\) ，若不然则存在\(0\not ={f}\in L_{k-1}\)其零点个数超过\(k-1\) ，这是不可能的。又由\(\mathrm{Singleton}\)界知\(d\leq n-k+1\) .于是我们知道，如上构造的\(\mathrm{RS}\)达到\(\mathrm{Singleton}\)界，是\(\mathrm{MDS}\)码。
但是根据构造方式我们发现一个很明显的缺陷是\(n\leq q\) ,如果我们想要构造比较大的编码，需要很大的\(q\) 。 \(\mathrm{RS}\)码的长度不能超过它的有限域，从而限制了其纠错性能。一般采用扩大有限域或是降低码率来提升\(\mathrm{RS}\)码的性能。然而前者会降低吞吐率并显著提升复杂度，后者则会降低传输效率。
关于\(MDS\)码的一系列重要结果和猜想实质上断言了所有\(MDS\)码都是短的——当\(q\)为偶数时， \(n\leq q+2\) ,而当\(q\)为奇素数幂时，猜想\(n\leq q+1\) 。在实际应用中，我们希望使用与字母表大小相比较长的编码。因此，我们寻找那些长且高效、能纠正许多错误的编码，但它们往往并不是在\(\mathrm{Singleton}\)界限下最优的。

定义 1\(A_q(n, d)\)

设\(q\)为一个素数的幂，且\(n, d\)为正整数，满足\(d \leq n\) 。则量\(A_q(n, d)\)定义为使得存在一个长度为\(n\) 、
具有\(M\)个码字和最小距离为\(d\)的\(\mathbb{F}_q\)上编码的最大值\(M\) 。

根据\(\mathrm{Singleton}\)界限，我们立刻得到\(A_q(n, d) \leq q^{n-d+1}\) ，但主要猜想声称对于长编码而言，这个界限并不紧。接下来，我们将给出适用于长编码的\(A_q(n, d)\)的上界和下界。

定理 2 （Plotkin 界）

设\(\theta = 1 - \frac{1}{q}\) ，则当\(d > \theta n\)时,我们有\(A_q(n, d) \leq \frac{d}{d - \theta n}\) .

证明：
设\(C\)是一个长度为\(n\) ，包含\(M\)个编码字，最小距离为\(d\)的编码，定义\(S = \sum d(\mathbf{x}, \mathbf{y})\) ，其中求和遍历\(C\)中所有不同编码字的有序对。由于任何两个编码字之间的距离至少为\(d\) ，而且有\(M(M-1)\)个不同编码字的有序对，因此我们立即得到\(S \geq M(M-1) d\) 。

现在我们将推导出\(S\)的上界。构造一个\(M \times n\)的矩阵，其中每一行是\(C\)中的一个编码字。考虑这个矩阵的任意一列，设\(m_\alpha\)为\(\mathbb{F}_q\)中元素\(\alpha\)在该列中出现的次数。（注意， \(\sum m_\alpha = M\)）。然后， \(M - m_\alpha\)个编码字在该列中有其他的元素，由于总共有\(n\)列，假设这一列是编码字在其中差异最大的列，我们有

\[\begin{aligned} S & \leq n \sum_{\alpha \in \mathbb{F}_q} m_\alpha (M - m_\alpha) \\ & = n M \sum_{\alpha \in \mathbb{F}_q} m_\alpha - n \sum_{\alpha \in \mathbb{F}_q} m_\alpha^2 \\ & = n \left( M^2 - \sum_{\alpha \in \mathbb{F}_q} m_\alpha^2 \right) \end{aligned} \]

现在回顾一下柯西-施瓦茨不等式：如果\(\mathbf{a} = (a_1, \dots, a_r)\)和\(\mathbf{b} = (b_1, \dots, b_r)\)是长度为\(r\)的向量，设\(\mathbf{a} \cdot \mathbf{b} := \sum a_i b_i\) ，且\(\|\mathbf{a}\| := \left( \sum a_i^2 \right)^{1/2}\) 。那么有\(\|\mathbf{a} \cdot \mathbf{b}\| \leq \|\mathbf{a}\|\|\mathbf{b}\|\) 。所以，设\(\mathbf{a} = (m_\alpha)_{\alpha \in \mathbb{F}_q}\)和\(\mathbf{b} = (1, \dots, 1)\) ，我们得到

\[\sum_{\alpha \in \mathbb{F}_q} m_\alpha \leq \left( \sum_{\alpha \in \mathbb{F}_q} m_\alpha^2 \right)^{\frac{1}{2}} \sqrt{q} \]

对两边平方并除以\(q\)得到

\[\frac{1}{q} \left( \sum_{\alpha \in \mathbb{F}_q} m_\alpha \right)^2 \leq \sum_{\alpha \in \mathbb{F}_q} m_\alpha^2 \]

代入上式，我们得到\(S \leq n \left( M^2 - \frac{M^2}{q} \right) = n M^2 \theta\) ，其中\(\theta = 1 - \frac{1}{q}\) 。将这些结果结合起来，我们得到

\[d M(M-1) \leq S \leq n M^2 \theta \]

于是当\(d > \theta n\)时,我们有\(A_q(n, d) \leq \frac{d}{d - \theta n}\) .
\(\square\)

在我们给出\(A_q(n, d)\)的下界之前，需要回顾一些符号。回想一下，对于任意\(\mathbf{x} \in \mathbb{F}_q^n\)和任意正整数\(r\) ， \(B_r(\mathbf{x})\)是以\(\mathbf{x}\)为中心，半径为\(r\)的球。注意， \(\# B_r(\mathbf{x})\)与\(\mathbf{x}\)无关，仅依赖于\(r\) 、
\(q\)和\(n\) 。因此，我们可以用\(V_q(n, r)\)来表示\(B_r(\mathbf{x})\)中元素的个数，其中\(\mathbf{x} \in \mathbb{F}_q^n\)任意。对于任意\(\mathbf{y} \in B_r(\mathbf{x})\) ，在\(\mathbf{x}\)和\(\mathbf{y}\)不同的\(r\)个位置中，每个位置有\(q-1\)种可能的取值，因此我们可以得到

\[V_q(n, r) := \# B_r(\mathbf{x}) = \sum_{i=0}^{r} \binom{n}{i} (q-1)^i \]

现在我们可以给出下界：

定理 3 （Gilbert-Varshamov 界）

数量\(A_q(n, d)\)满足

\[A_q(n, d) \geq \frac{q^n}{V_q(n, d-1)} \]

证明：设\(C\)是一个（可能是非线性的）长度为\(n\)的编码，定义在\(\mathbb{F}_q\)上，最小距离为\(d\) ，具有\(M = A_q(n, d)\)个码字。设\(\mathbf{y} \in \mathbb{F}_q^n\)为任意的。如果\(\mathbf{y}\)不在任何\(\mathbf{x} \in C\)的\(B_{d-1}(\mathbf{x})\)中，则对于每个\(\mathbf{x} \in C\) ，有\(d(\mathbf{x}, \mathbf{y}) \geq d\) 。因此， \(C \cup \{\mathbf{y}\}\)是一个长度为\(n\)的代码，最小距离为\(d\) ，且有\(M+1 > A_q(n, d)\)个码字，这是不可能的。因此，存在某个\(\mathbf{x} \in C\) ，使得\(\mathbf{y} \in B_{d-1}(\mathbf{x})\) 。

因此，对于所有\(M\)个码字\(\mathbf{x} \in C\) ， \(B_{d-1}(\mathbf{x})\)的并集必须覆盖整个\(\mathbb{F}_q^n\) ，因此我们有

\[q^n = \# \mathbb{F}_q^n \leq M \cdot V_q(n, d-1) \]

\(\square\)

由于我们寻找的是在\(n\)很大的情况下维数\(k\)和距离\(d\)达到最优的编码，因此通过除以\(n\)来规范化这些参数是有意义的。基于这一思想，我们有如下定义。

定义 4

设\(C\)是定义在\(\mathbb{F}_q\)上、长度为\(n\)的一个编码，具有\(q^k\)个码字，最小距离为\(d\) 。 (注意，如果\(C\)不是线性码，则\(k\)可能不是整数。) 则\(C\)的信息率或码率定义为\(R := \frac{k}{n}\) ， \(C\)的相对最小距离定义为\(\delta := \frac{d}{n}\) 。

当然， \(R\)和\(\delta\)都在\(0\)和\(1\)之间，当\(R\)和\(\delta\)都接近\(1\)时， \(C\)是一个好的编码。

我们上一节的问题现在变为：给定\(\delta\) ， \(R\)最多能有多大？基于我们之前的结果，我们给出以下定义：

定义 5

设\(q\)是一个素数幂，且\(\delta \in \mathbb{R}\)满足\(0 \leq \delta \leq 1\) 。则定义

\[\alpha_q(\delta):=\limsup _{n \to \infty} \frac{1}{n} \log_q A_q(n, \delta n) \]

经过一些思考，可以发现\(\alpha_q(\delta)\)是给定\(\delta\)下， \(R\)的最大值并且要求这个最大值由一族码（\(n\rightarrow \infty\)）渐进地达到而不是只能由有限个孤立的编码达到。接下来，我们将发展\(\mathrm{Plotkin}\)和\(\mathrm{Gilbert-Varshamov}\)界限的渐近版本，从而为\(\alpha_q(\delta)\)的值提供界限。

增删得到新码新参数的一些操作

\((n,k,d)\rightarrow (n+1,k+1,d)\)——直接补一位任意的数码即可；
\((n,k,d)\rightarrow (n,k-1,d)\)——考虑包含最小重量\(d\)的码字的一个\(k-1\)维子空间；
\((n,k,d)\rightarrow(n-1,k1d-1)\)——设\(c_1\)和\(c_2\)达到最小距离，选取它俩不同的一列进行删除.
\((n,k,d)\rightarrow (n-1,k-1,d)\)——取达到最小重量码字的一个含零列，考虑\(C\)中该列为零的全体码字构成的子空间，然后再在子空间里删除该列.

第四种操作的合理性由以下引理保证：

引理 6 有限域上线性空间的平衡性

给定一个\(\mathbb{F}_q\)上的编码，考虑最后一列，如果有非零数码，则以各个数码结尾的码字个数分别占比\(\frac{1}{q}\) .
证明：假设编码\(C\)作为\(\mathbb{F}_q^n\)的一个子集，维数为\(k\) 。如果所有的编码字在位置\(i\)处都为\(0\) ，则该位置上\(0\)的个数为\(q^k = |C|\) 。

如果不是这种情况，设\(c_0\)是一个在位置\(i\)处满足\(c_i = 1\)的编码字（肯定存在），则映射\(x \mapsto x + c_0\)是一个双射（自反）映射，它将\(C\)映射到自身，（不妨设是二元域）并且在该位置上将\(0\)变为\(1\) ， \(1\)变为\(0\) 。因此，在该位置上， \(C\)中一半的编码字具有\(1\) ，另一半具有\(0\) 。因此，该位置上为\(0\)的码字个数为\(\frac{1}{2} |C| = 2^{k-1}\) 。
\(\square\)

定理 7（渐近 Plotkin 界）

设\(\theta = 1 - \frac{1}{q}\) ，则有

\[\begin{array}{ll} \alpha_q(\delta) \leq 1 - \frac{\delta}{\theta}, & \text{若 } 0 \leq \delta \leq \theta \\ \alpha_q(\delta) = 0, & \text{若 } \theta \leq \delta \leq 1 \end{array} \]

证明: 设\(C\)是一个定义在\(\mathbb{F}_q\)上、长度为\(n\) 、
具有\(M\)个编码字且最小距离为\(d\)的编码。我们执行上面介绍的第四种操作\(r\)次，则得到的编码\(C^{\prime}\)具有长度\(n - r\) 、
最小距离\(d\) ，并且至少包含\(\frac{M}{q^r}\)个编码字。

设\(n^{\prime} := \left\lceil \frac{d-1}{\theta} \right\rceil\) ，然后将\(C\)缩短\(r = n - n^{\prime}\)次，得到一个长度为\(n^{\prime}\) ，最小距离为\(d\)(易知\(n^{\prime}\geq d\))，且至少包含\(\frac{M}{q^{n - n^{\prime}}}\)个编码字的编码。原始\(\mathrm{Plotkin}\)界给出

\[\frac{M}{q^{n - n^{\prime}}} \leq M^{\prime} \leq \frac{d}{d - \theta n^{\prime}} \]

这立即给出\(M \leq \frac{d}{d - \theta n^{\prime}} q^{n - n^{\prime}}\) 。代入\(\alpha_q(\delta)\)的定义，我们得到

\[\begin{aligned} \alpha_q(\delta) & \leq \limsup_{n \rightarrow \infty} \frac{1}{n} \log_q\left( \frac{\delta n}{\delta n - \theta n^{\prime}} q^{n - n^{\prime}} \right) \\ & = \limsup_{n \rightarrow \infty} \left( \frac{\log_q \delta}{n} + \frac{\log_q n}{n} + 1 - \frac{n^{\prime}}{n}-\frac{\log_q (\delta n-\theta n^{\prime})}{n} \right) \\ & = 1 - \lim_{n \rightarrow \infty} \frac{n^{\prime}}{n} \\ & = 1 - \frac{\delta}{\theta}. \end{aligned} \]

\(\square\)

为了证明\(\mathrm{Gilbert-Varshamov}\)界的渐近版本，我们需要了解熵函数和有限域上球体积的渐进估计。按照惯例，设\(\theta = 1 - 1/q\) ，并在区间\(0 \leq x \leq \theta\)上定义函数\(H_q(x)\)为：

\[H_q(x) := \begin{cases} 0, & x = 0 \\ x \log_q(q-1) - x \log_q x - (1-x) \log_q (1-x), & 0 < x \leq \theta \end{cases} \]

函数\(H_q\)被称为\(\mathrm{Hilbert}\)熵函数。
特别感兴趣的是二进制熵函数：

\[h(x) = x \log \frac{1}{x} + (1-x) \log \frac{1}{1-x} \]

这里我们采用的记号约定是\(\log = \log_2\) 。
如果\(X\)是一个取值于\(\{0,1\}\)的随机变量，使得\(\mathbb{P}[X=1] = p\) ， \(\mathbb{P}[X=0] = 1-p\) ，则\(X\)的\(\mathrm{Shannon}\)熵\(H(X)\)等于\(h(p)\) 。换句话说， \(h(p)\)描述了一个\(p\)-偏置的硬币投掷（正面概率为\(p\) ，反面概率为\(1-p\)）的不确定性。

函数\(h_q\)在区间\([0,1-1/q]\)上是连续且单调递增的，满足\(h_q(0) = 0\)且\(h_q(1-1/q) = 1\) 。
二进制熵函数关于\(x=1/2\)轴对称，即\(h(1-x) = h(x)\) 。

回忆一下， \(V_q(n, r)\)表示\(\mathbb{F}_q^n\)中半径为\(r\)的球内的向量个数。我们现在对体积\(\operatorname{Vol}_q(n, d)\)进行渐近估计。

引理 8\(V_q(n, d)\)的估计

对于整数\(q \geq 2\)和\(p \in [0,\theta]\) ，有

\[\operatorname{Vol}_q(n, p n) \leq q^{h_q(p) n} \]

证明：
我们有

\[\frac{\operatorname{Vol}_q(n, p n)}{q^{h_q(p) n}} = \frac{\sum_{j=0}^{p n}\binom{n}{j}(q-1)^j}{(q-1)^{p n} p^{-p n}(1-p)^{-(1-p) n}} \]

\[= \sum_{j=0}^{p n}\binom{n}{j}(q-1)^j(q-1)^{-p n} p^{p n}(1-p)^{(1-p) n} \]

\[= \sum_{j=0}^{p n}\binom{n}{j}(q-1)^j(1-p)^n\left(\frac{p}{(q-1)(1-p)}\right)^{p n} \]

由\(p \leq 1 - 1/q\) ，有\(\frac{p}{q-1} \leq 1 - p\) ，因此上述表达式至多为

\[\sum_{j=0}^{p n}\binom{n}{j}(q-1)^j(1-p)^n\left(\frac{p}{(q-1)(1-p)}\right)^j = \sum_{j=0}^{p n}\binom{n}{j}(1-p)^{n-j} p^j=1 \]

\(\square\)

上述上界在低阶项意义下是紧的。体积\(\operatorname{Vol}_q(n, p n)\)至少与\(\binom{n}{p n}(q-1)^{p n}\)一样大。根据\(\mathrm{Stirling}\)公式

\[m! = \sqrt{2 \pi m}(m / e)^m(1+o(1))(m\rightarrow +\infty) \]

可得

\[\binom{n}{p n} \geq \left(\frac{1}{p}\right)^{p n} \left(\frac{1}{1-p}\right)^{(1-p) n} \exp(-o(n)) = 2^{h(p) n - o(n)} \]

因此

\[\operatorname{Vol}_q(n, p n) \geq \binom{n}{p n}(q-1)^{p n} \geq q^{h_q(p) n - o(n)} \]

我们将上述讨论总结为以下重要估计。

引理 9\(V_q(n, d)\)的渐进估计

对于任意\(\lambda\)满足\(0 \leq \lambda \leq \theta\) ，我们有：

\[\lim_{n \to \infty} \frac{1}{n} \log_q V_q(n, \lfloor \lambda n \rfloor) = H_q(\lambda) \]

定理 10（渐近 Gilbert-Varshamov 界）

对于任意\(\delta\)满足\(0 \leq \delta \leq \theta\) ，有

\[\alpha_q(\delta) \geq 1 - H_q(\delta) \]

证明： 直接代入\(\alpha_q(\delta)\)的定义：

\[\begin{aligned} \alpha_q(\delta) &= \limsup _{n \rightarrow \infty} \frac{1}{n} \log_q A(n, \delta n) \\ &\geq \limsup _{n \rightarrow \infty} \frac{1}{n} \log_q \left( q^n / V_q(n, d-1) \right) \\ &= \lim _{n \rightarrow \infty} \left( 1 - \frac{1}{n} \log_q V_q(n, \delta n) \right) = 1 - H_q(\delta), \end{aligned} \]

这正是我们所要证明的。
\(\square\)

我们以一些历史背景来结束本章，以帮助理解整个问题的背景。目前已知关于\(\alpha_q(\delta)\)的多个上界。虽然\(\mathrm{Plotkin}\)界并不是最优的，但它能展现该领域的一些特点而且证明相对简单。

另一方面，看似直观的\(\mathrm{Gilbert-Varshamov}\)界在\(1952\)年被首次提出后，作为\(\alpha_q(\delta)\)的下界保持了整整\(30\)年的最佳已知结果。直到\(1982\)年，Tsfasman、Vladut 和 Zink 首次证明了存在一系列编码，其参数在渐近意义上优于\(\mathrm{Gilbert-Varshamov}\)界所保证的范围。他们的编码序列利用了代数几何编码，而这种编码最初是由 V. D. Goppa 在\(1977\)年引入的。