压缩感知学习笔记：稀疏性和可压缩性

稀疏性和可压缩性

为了方便描述，定义以下符号：
索引集合 $[N] \subset {1,2,...,N} $, \(S\)是\([N]\)个子集表示为\([N]/S\)，\(\text{card} (S)\)表示集合\(S\)中元素的个数。用\(\bar{S}\)表示全集\([N]\)中\(S\)的补集。
一个向量\(x\in C^N\)的支撑区是该向量中非零元素的位置索引组成的集合。即

\[\text{supp}(x):={j\in[N]:x_j\neq 0} \]

如果向量\(x\in C^N\)的非零元素个数最多只有\(s\)个，则把向量\(x\)称为\(s-sparse\)，即

\[||x||_0:=\text{card} (\text{supp} (x))\leq s \]

符号\(||x||_0\)是\(||x||_0^0\)的省略写法，它的定义如下

\[||x||_p^p:=\lim_{p\to 0}\sum_{j=1}^N |x_j|^p=\sum_{j=1}^N1_{x_j\neq 0}=\text{card}(\{j\in [N]:x_j\neq 0\}) \]

也就是说\(||x||_0\)的值为向量\(x\)的\(l_p\)拟范数的\(p\)次方在\(p\)趋于0时的值。信号稀疏性的概念严格约束了向量最多含非零元素的个数，但是但部分情况下，向量无法满足严格稀疏的要求，因此引入可压缩性弱化稀疏性这一要求。
对于\(p>0\)，向量\(x\in C^N\)的\(l_p-error\ of\ best\ s-term\ approximation\)，也就是在范数\(||\cdot||_p\)下最佳\(s\)-逼近误差为

\[\sigma_s(x)_p=\text{inf}\{||x-z||_p,z\in C^N \text{is s-sparse}\} \tag{1} \]

其中符号inf{\(S\)}表示集合\(S\)的下确界(infimum)，就是小于等于\(S\)中所有元素的最大值，例如正实数集合的下确界为0；与之对应的是上确界(supremum),指的是大于等于集合所有元素的最小值，用sup\(\{\cdot\}\)表示，例如负实数集的上确界是0.
公式(1)中，\(z\)中\(s\)个非零项和\(x\)中\(s\)个绝对值最大非零项大小位置相同，通常如果向量\(x\)的best \(s\)-term approximation随\(s\)衰减很快，称\(x\)为一个可压缩向量，当向量\(x\)属于\(l_p(0<p<1)\) 范数的单位球时，向量一定具有可压缩性,\(lp\)范数单位球的定义为

\[B_p^N:=\{z\in C^N:||z||_p\leq 1\} \]

在\(p<1\)时，单位球\(B_p^N\)是非凸的，是判断任意一个向量是否具有可压缩性的一个非常好的依据。
向量\(x\in C^N\)的非增序重排\(x^*\in R^N\)定义为

\[x_1^* \geq x_2^* \cdot\cdot\cdot x_N^*\geq 0 \]

其中\(x_j^*=|x_\pi (j)|,j \in [N]\)，映射\(\pi:[N]\to[N]\),即\(\pi\)是从索引集到索引集的映射。
命题3：对于任意的\(q>p>0\)，以及任意的向量\(x \in C^N\)，\(||x||_p\)的s-term approxmation error满足

\[\sigma_s(x)_q\leq\frac{1}{s^{1/p-1/q}}||x||_p \]

证明如下：
设\(x^*\in R^N_+\)是\(x\in C^N\)的非增重排序列，有

\[\sigma_s(x)_q^q=\sum_{j=s+1}^N(x_j^*)^q=(x_{s+1}^*)^{q-p}(x_{s+1}^*)^{p}+(x_{s+2}^*)^{q-p}(x_{s+2}^*)^{p}+...+(x_{N}^*)^{q-p}(x_{N}^*)^{p}\\ \leq (x_{s}^*)^{q-p}(x_{s+1}^*)^{p}+(x_{s}^*)^{q-p}(x_{s+2}^*)^{p}+...+(x_{s}^*)^{q-p}(x_{N}^*)^{p}\\ =(x_{s}^*)^{q-p}\sum_{j=s+1}^N(x_j^*)^p\leq [\frac{1}{s}\sum_{j=1}^s(x_j^*)^q]^{\frac{q-p}{p}}\sum_{j=s+1}^N(x_j^*)^p\\ \leq(\frac{1}{s}||x||^p_p)^{\frac{q-p}{p}}||x||^p_p=\frac{1}{s^{1/p-1/q}}||x||_p \]

对s-项近似误差的进一步限制如下定理所示
定理4：对于任意\(q>p>0\)和任意向量\(x\in C^N\)，下式成立

\[\sigma_s(x)_q\leq\frac{c_{p,q}}{s^{1/p-1/q}}||x||_p \]

其中

\[c_{p,q}:=[(\frac{p}{q})^{p/q}(1-\frac{p}{q}^{1-p/q}]^{1/p}\leq 1 \]

取\(p=1, q=2\)，则有

\[\sigma_s(x)_2\leq \frac{1}{2\sqrt{s}}||x||_1 \]

证明：
将原式两边同时\(q\)次方，并设\(x^*\in R^N_+\)为\(x\in C^N\)的非增重排列向量，令\(a_j := (x^*_j)^p\)，原证明等价于
当\(a_1\geq a_2\geq ... \geq a_N \geq 0\)且\(a_1 + a_2 + ... + a_N \leq 1\)时，有

\[a_{s+1}^{q/p}+a_{s+2}^{q/p}+...+a_{N}^{q/p}\leq \frac{c^q_{p,q}}{s^{q/p-1}} \]

即当\(r:=q/p>1\)时，方程

\[f(a_1,a_2,...,a_N) = a^r_{s+1}+a^r_{s+2}+...+a^r_N \]

在凸多边形下，它的最大值小于等于\(\frac{c^q_{p,q}}{s^{q/p-1}}\)，可以分以下几种情况讨论：

1. \(a_1 = a_2 =...= a_N = 0\)，\(f(a_1,a_2,...,a_N) = 0\);
2. \(||x||_0 = k \leq s\)，有\(a_1 = a_2 =...= a_k >a_{k+1}=...=a_s = ...= a_N\)，此时\(f(a_1,a_2,...,a_N) = 0\);
3. \(s\leq ||x||_0 = k \leq N\)，此时\(f(a_1,a_2,...,a_N) = \frac{k-s}{k^r}\);

求方程\(g(k):=(k-s)/k^r\)的最大值，\(k\)的临界点是\(k^*=(r/(r-1))s\)，回代得

\[max\ f(a_1,a_2,...,a_N) \leq max\ g(k^*)=\frac{1}{r}(1-\frac{1}{r})^{r-1}\frac{1}{s^{r-1}} =c^q_{p,q}\frac{1}{s^{q/p-1}} $$**证毕**\]