【笔记】机器学习基础 - Ch5. Support Vector Machines

5.1 Linear classification

考虑如下问题：\(\mathbb{R} ^N\) 上的 \(\cal X\) 服从某个未知分布 \(\cal D\)，并由目标函数 \(f:\cal X\to Y\) 映射到 \(\{-1, +1\}\)。根据采样 \(S=(({\bf x} _1, y _1),\dotsb, ({\bf x} _m, y _m))\) 确定一个二分类器 \(h\in \cal H\)，使得其泛化误差 \(R _{\cal D}(h)=\Pr _{{\bf x}\sim \cal D}[h({\bf x})\ne f({\bf x})]\) 尽量小
选择线性分类器 linear classifier 使得复杂度比较小，即：

\[{\cal H}=\{{\bf x}\mapsto \text{sign}({\bf w\cdot x}+b):{\bf w}\in \mathbb{R} ^N-\{{\bf 0}\}, b\in \mathbb{R}\} \]

也就是通过超平面 hyperplane 二分类。另外 \({\bf w\cdot x}+b\) 和 \({\bf -w\cdot x}-b\) 代表同一个超平面但是标签取反，可以把 \(\bf 0\) 代入判断一下正例位置。

5.2 Separable case

本节假设样本 \(S\) 线性可分，也就是样本的标签是某个待学习的超平面 \(({\bf w},b)\) 对样本进行映射得到的：\(\forall i\in[m],y _i({\bf w \cdot x _{\it i}}+b)\ge 0\)
SVM 考虑几何间隔 geometric margin

定义 Geometric margin
点 \(\bf x\) 和超平面 \(h:({\bf w},b)\) 的几何间隔，定义为两者的欧几里得距离 \(\rho _h({\bf x})\)：

\[\rho _h({\bf x})=\frac{|{\bf w\cdot x}+b|}{\Vert {\bf w}\Vert _2} \]

小证一下：设沿 \(\bf x\) 方向与平面交于 \(\bf x'\)，那么距离就是 \(\bf x-x'\) 在 \(\bf w\) 方向的投影长度，即 \(\rho={\bf |(x-x')\cdot\frac{w}{\Vert w\Vert}|}=\frac{\bf |w\cdot x-w\cdot x'|}{\bf \Vert w\Vert}=\frac{|({\bf w\cdot x}+b)-({\bf w\cdot x'}+b)|}{\bf \Vert w\Vert}=\frac{|{\bf w\cdot x}+b|}{\bf \Vert w\Vert}\)
定义线性分类器对样本 \(S\) 的几何距离为 \(\rho _h=\min\rho _h({\bf x} _i)\)，而 SVM 应取到最大的几何距离，有：

\[\begin{aligned} {\bf w},b &= \underset{{{\bf w},b\ :\ y _i({\bf w\cdot x} _i+b)\ge 0}}{\text{arg max}}\min _i \frac{|{\bf w\cdot x} _i+b|}{\Vert {\bf w}\Vert} \\ &= \underset{{\bf w},b}{\text{arg max}}\ \min _i \frac{y _i({\bf w\cdot x} _i+b)}{\Vert {\bf w}\Vert} \qquad;\text{假设样本线性可分} \\ &= \underset{{\bf w},b\ :\ \min y _i({\bf w\cdot x} _i+b)=1}{\text{arg max}} \ \frac{1}{\Vert {\bf w}\Vert} \qquad;\text{加条件约束分式上下变动} \\ &= \underset{{\bf w},b\ :\ y _i({\bf w\cdot x} _i+b)\ge 1}{\text{arg max}} \ \frac{1}{\Vert {\bf w}\Vert} = \underset{{\bf w},b\ :\ y _i({\bf w\cdot x} _i+b)\ge 1}{\text{arg min}} \ \frac{1}{2}{\Vert \bf w\Vert} ^2 \qquad;\text{凸化} \end{aligned} \]

从而得到如下对 \(({\bf w}, b)\) 的凸优化问题：

\[\min _{{\bf w}, b} \frac{1}{2}\Vert {\bf w} \Vert ^2 \\ subject\ to: g _i({\bf w},b)=1 - y _i({\bf w\cdot x} _i + b)\le 0,\forall i\in [m] \]

根据以二阶导定义的凸函数，由于 \(F:{\bf w\to \Vert w\Vert} ^2/2\) 的 Hessian \(\nabla ^2 F=\bf I\) 是正定的，故 \(F\) 是严格的凸函数；而约束 \(g _i\) 均为仿射函数，故该优化问题有唯一解。
（这类目标函数为平方次、约束为仿射的问题，属于二次规划问题 quadratic programming (QP)，已有大量相关算法；对于 SVM 问题有 block coordinate descent 等算法）
由于约束都是仿射，该问题与对偶问题等价，因此转到对偶问题：

引入 Lagrange 变量 \({\boldsymbol{\alpha}}=(\alpha _1, \dotsb, \alpha _m)'\ge 0\)，定义 Lagrangian \({\cal L}({\bf w}, b, {\boldsymbol{\alpha}})\) 并给出最优解的 KKT 条件：

\[{\cal L}({\bf w}, b, {\boldsymbol{\alpha}}) = \frac{1}{2}\Vert {\bf w} \Vert ^2 + \sum _{i=1} ^m \alpha _i [1- y _i({\bf w\cdot x} _i + b)]\\ \begin{aligned} & \nabla _{\bf w}{\cal L}={\bf w}-\sum _{i=1} ^{m}\alpha _i y _i {\bf x} _i = 0 &&\implies {\bf w}=\sum _{i=1} ^{m}\alpha _i y _i {\bf x} _i \\ & \nabla _{b}{\cal L}=-\sum _{i=1} ^{m}\alpha _i y _i = 0 &&\implies \sum _{i=1} ^{m}\alpha _i y _i = 0 \\ & {\boldsymbol{\alpha}}\cdot {\bf g}({\bf w},b)=0 &&\implies \forall i\in [m],\alpha _i =0\vee y _i({\bf w\cdot x} _i + b)=1 \end{aligned} ;\text{KKT} \]

根据条件，\(\bf w\) 为若干 \(\alpha _i\) 不为零的样本 \({\bf x} _i\)（称为支持向量 support vector）的线性组合，且这些向量必定落在 \({\bf w\cdot x} + b=\pm 1\) 的平面上。注意到即使 \(({\bf w},b)\) 有唯一解，\(\boldsymbol{\alpha}\) 却不一定唯一，因为只需要 \(N+1\) 个向量就能定义一个 \(N\) 维平面
利用 KKT 条件消去 \({\bf w}, b\)，得到对偶问题：

\[\max _{\boldsymbol{\alpha}} {\cal L}=\max _{\boldsymbol{\alpha}}\left[ \sum _{i=1} ^m \alpha _i - \frac{1}{2}\sum _{i=1} ^m \sum _{j=1} ^m (\alpha _i y _i {\bf x} _i) \cdot (\alpha _j y _j {\bf x} _j)\right] \\ subject\ to: {\boldsymbol{\alpha}}\ge {\bf 0}\wedge \Sigma _{i=1} ^{m}\alpha _i y _i = 0 \]

这个问题同样是凸优化问题（\(\nabla ^2 _{\boldsymbol{\alpha}}{\cal L}\preceq\bf 0\)，concave，且为二次项，是 QP 问题，可用 SMO 算法解决）
解出 \({\boldsymbol{\alpha}}\) 后，就能得到对偶原问题的解：

\[{\bf w}=\sum _{i=1} ^{m}\alpha _i y _i {\bf x} _i,\quad b=y _{sv} - {\bf w \cdot x} _{sv}\quad;\text{for any support vector $sv$} \]

从而得到假设平面 \(h(\bf x)\)

\[h({\bf x})=\text{sgn}({\bf w\cdot x} + b)=\text{sgn}\left(\sum _{i=1} ^m \alpha _i y _i({\bf x} _i\cdot {\bf x}) + b\right) \]

注意到假设平面只用到支持向量与输入向量的内积，我们之后在这一点上可以做文章，例如引入核方法
最后，几何间隔 \(\rho ^2=1/{\Vert\bf w \Vert _2 ^2}=1/\sum _{i=1} ^m \alpha _i=1/{\Vert\boldsymbol{\alpha}\Vert _1}\)，证明只需上述求 \(b\) 的式子两边同乘 \(\sum \alpha y\) 即可

Leave-one-out analysis
依然认为样本标签为通过某个超平面映射、始终是线性可分的
我们给泛化误差（的期望）一个上界，分析式子：

\[\begin{aligned} \mathbb{E} _{S\sim \cal D ^m}[R(h _S)] &= \mathbb{E} _{S\sim \cal D ^m}\left[\mathbb{E} _{x\sim \cal D}[1 _{h _S(x)\ne y}]\right] \\ &= \mathbb{E} _{S\sim \cal D ^m, x\sim \cal D}\left[1 _{h _S(x)\ne y}\right] \\ &= \mathbb{E} _{S'\sim \cal D ^{m+1}}\left[1 _{h _{S'/{x _1}}(x _1)\ne y _1}\right]=\mathbb{E} _{S'\sim \cal D ^{m+1}}\left[1 _{h _{S'/{x _2}}(x _2)\ne y _2}\right]=\cdots \\ &= \mathbb{E} _{S'\sim \cal D ^{m+1}}\left[\frac{1}{m+1}\sum _{i=1} ^{m+1} 1 _{h _{S'/\{x _i\}}(x _i)\ne y _i}\right] \end{aligned} \]

期望式内类似对 \(m+1\) 个样本使用留一法，因此定义算法 \(\cal A\) 对样本 \(S'=((x _1,y _1),\dots, (x _{m+1}, y _{m+1}))\) 的 Leave-one-out error \(\widehat{R} _\text{LOO}({\cal A})\)，为用剩余样本分类留出样本的平均误差，并对其放缩：

\[\widehat{R} _\text{LOO}({\cal A}) = \frac{1}{m+1}\sum _{i=1} ^{m+1} 1 _{h _{S'/\{x _i\}}(x _i)\ne y _i} \le \frac{N _{SV}(S')}{m+1} \]

其中 \(N _{SV}(S')\) 是用 SVM 分类 \(S'\) 得到的支持向量个数；显然若某个 \(x _i\) 贡献了误差，那么它必定是支持向量之一，否则去掉它不会对分类平面造成影响
结合上述式子，得到：

\[\mathbb{E} _{S\sim \cal D ^m}[R(h _S)]\le \mathbb{E} _{S'\sim \cal D ^{m+1}}[\frac{N _{SV}(S')}{m+1}] \]

这就是我们的上界。一般来说支持向量不会太多，所以右式应该不会很大；但是这个式子只对所有情况的平均值给出上界，并不是之前提到 PAC 形式。后面会给出更强的 high-probability bounds。

5.3 Non-separable case

也就是对任意 \(({\bf w}, b)\) 总存在 \(i\in [m]\) 使得 \(y _i({\bf w\cdot x} _i + b)\not \ge 1\)，一种常用的松弛做法，是引入松弛变量 slack variables \(\xi\ge 0\)：

\[y _i[{\bf w\cdot x} _i + b] \ge 1-\xi _i\ ,\quad \forall i\in [m],\xi _i\ge 0 \]

考虑到一对矛盾的点：尽可能小的松弛因素 \(\sum \xi _i\)，或者更一般地 \(\sum \xi _i^p\)；和尽可能大的几何间隔 \(1/\Vert \bf w\Vert\)，揉进一个式子，得到关于 \({\bf w}, b, {\boldsymbol{\xi}}\) 的优化问题：

\[\min _{{\bf w}, b, {\boldsymbol{\xi}}} \frac{1}{2}\Vert {\bf w}\Vert ^2 + C\sum _{i=1}^m \xi _i^p \\ subject\ to: y _i({\bf w\cdot x} _i + b)\ge 1-\xi _i \wedge \xi _i \ge 0,i\in [m] \]

其中 \(C\ge 0\)；一般取 \(p=1\)，称为 hinge loss
这又是个凸优化问题（仿射约束+待优化函数为凸），扔给 Lagrangian 和 KKT：

\[{\cal L}({\bf w}, b, {\boldsymbol{\xi, \alpha,\beta}}) = \frac{1}{2}\Vert {\bf w} \Vert ^2 + C\sum _{i=1}^m \xi _i - \sum _{i=1} ^m \alpha _i [y _i({\bf w\cdot x} _i + b) -1 +\xi _i ] - \sum _{i=1} ^m \beta _i \xi _i \\ \begin{aligned} & \begin{aligned} \nabla _{\bf w}{\cal L}=0\implies & {\bf w}=\sum _{i=1}^m \alpha _i y _i {\bf x} _i \\ \nabla _{b}{\cal L}=0\implies & \sum _{i=1} ^m \alpha _i y _i = 0 \\ \nabla _{\xi _i}{\cal L} = 0\implies & \alpha _i + \beta _i = C \\ \end{aligned} \\ & \forall i\in [m],\quad \alpha _i [y _i({\bf w\cdot x} _i + b) -1 + \xi _i] = 0 \\ & \forall i\in [m],\quad \beta _i \xi _i = 0 \end{aligned};\text{KKT} \]

观察式子，\(\bf w\) 为支持向量的线性组合；对于一个支持向量 \(\bf x\)，由于 \(\alpha\ne 0\)，则 \([y ({\bf w\cdot x} + b) -1 + \xi] = 0\)，两种情况：若 \(\xi=0\)，则该向量就落在支持面上，和原本的支持向量一样；若 \(\xi \ne 0\)，则该点在支持面内侧或者越过分类面（称为 outlier），从而 \(\beta=0,\alpha=C\)，从而以 \(Cy\bf x\) 贡献给 \(\bf w\)
同样地，\(\bf w\) 有唯一解，但是支持向量的解可能不唯一
对偶问题：约到剩下 \(\boldsymbol{\alpha,\beta}\)，发现 \(C\sum \xi _i\) 和拉格朗日项里多出来的那部分抵消了，得到和原本一样的式子；但是条件部分还需要满足 \(\alpha\le C\)：

\[\max _{\boldsymbol{\alpha}}{\cal L}=\max _{\boldsymbol{\alpha}}\left[ \sum _{i=1} ^m \alpha _i - \frac{1}{2}\sum _{i=1} ^m \sum _{j=1} ^m (\alpha _i y _i {\bf x} _i) \cdot (\alpha _j y _j {\bf x} _j)\right] \\ subject\ to: {\bf 0}\le {\boldsymbol{\alpha}}\le {\bf C}\wedge \Sigma _{i=1} ^{m}\alpha _i y _i = 0 \]

又是个 QP，解出 \(\boldsymbol{\alpha}\) 后同样有：\({\bf w}=\sum _{i=1} ^{m}\alpha _i y _i {\bf x} _i, b=y _{sv} - {\bf w \cdot x} _{sv}\)
从而得到假设平面 \(h({\bf x})=\text{sgn}({\bf w\cdot x} + b)=\text{sgn}\left(\sum _{i=1} ^m \alpha _i y _i({\bf x} _i\cdot {\bf x}) + b\right)\)，它依然只依赖向量内积——之后会在此做文章

5.4 Margin theory

为分类函数 \(h\) 提出 “置信间隔 confidence margin” 的概念。
考虑 \(yh(x)> 0\) 刻画了分类成功的情况，此时用 \(|h(x)|\) 描述这次预测的置信度 confidence。当置信度较低时，即使分类正确，也需要接受一定的惩罚。因此引入置信间隔 \(\rho>0\) 和对应的损失函数 \(\rho\)-margin loss：\(\Phi _{\rho}(x)=\min (1,\max(0, 1-x/\rho))\)，也就是一个 \((-\infty,1)\to (0,1)\to(\rho,0)\to(+\infty,0)\) 的分段函数
同时定义经验边界损失：

Def. Empirical margin loss
假设 \(h\) 关于样本 \(S=(x _1,\dotsb, x _m)\) 的 empirical margin loss，为 \(\rho\)-margin loss \(\Phi _\rho\) 的平均值：

\[\widehat{R} _{S,\rho}(h)=\frac{1}{m}\sum _{i=1}^m \Phi _{\rho}(y _i h(x _i)) \]

之所以用 \(\rho\)-margin loss 而不是简单在 \(\rho\) 处 0-1 突变，是因为这样保证其斜率最多为 \(1/\rho\)，也称之为 \(1/\rho\)-Lipschitz，有可用的定理：

Th. Talagrand's lemma
\(\Phi _1,\dotsb, \Phi _m:\mathbb{R}\to \mathbb{R}\) 都是 \(l\)-Lipschitz 函数，\(\sigma _1,\dotsb,\sigma _m\) 是 Rademacher 变量；对任意实函数的假设集合 \(\cal H\)，关于样本 \(S=(x _1,\dotsb, x _m)\)，都有：

\[\frac{1}{m}\mathbb{E} _{\boldsymbol{\sigma}}\left[ \sup _{h\in\cal H} \sum _{i=1} ^m \sigma _i ({\color{deeppink}{\Phi _i\circ h}})(x _i) \right] \le \frac{\color{deeppink}{l}}{m} \mathbb{E} _{\boldsymbol{\sigma}}\left[ \sup _{h\in\cal H} \sum _{i=1} ^m \sigma _i {\color{deeppink}{h}}(x _i) \right] = l\cdot \widehat{\frak{R}} _S(\cal H) \]

特别地，若 \(\Phi _i=\Phi,i\in[m]\)，则该式变为 \(\widehat{\frak{R}} _S(\Phi\circ\cal H)\le l\cdot\widehat{\frak{R}} _S(\cal H)\)

感性理解，左式某个 \(\mathbb{E} _{\sigma}\) 取 \(\pm 1\) 可视为某两个 \(\Phi _{\sigma}\circ h _1,\Phi _{\sigma}\circ h _2\) 的差，由于斜率限制它不会大于 \(h_1,h_2\) 差的 \(l\) 倍
证明：
先划分为 \(\mathbb{E} _{\sigma _1,\dotsb,\sigma _{m-1}}[\mathbb{E} _{\sigma _m}[\sup \sum _{i=1} ^{m-1}+\sigma _m(\Phi _m\circ h)(x _m)]]\)，考虑对 \(\mathbb{E} _{\sigma _m}\) 单独放缩
首先是一个套路：

如果要将 \(\sup _{h}\) 向上放缩，考虑先松弛 \(\sup\)，表述为：\(\forall \epsilon>0,\exist h _0, (1-\epsilon)\sup _h\le h _0\)，再对 \(h _0\) 放缩到某个 \(g\)；相关证毕后再说明该式对任意 \(\epsilon\) 均成立，从而有 \(\sup _h\le g\) 成立

用该表述，由于有 \(\sigma _m\)，我们分别用 \(h _1,h _2\) 上限住 \(\sigma _m=\pm 1\) 的情况，然后把 \(\mathbb{E} _{\sigma _m}\) 替换为两者求和
接着，对于两者的 \((\Phi _m\circ h _1)(x _m)-(\Phi _m\circ h _2)(x _m)\)，考虑上限住它同时摘掉 \(\Phi\)，就自然地引入了 \(\Phi\) 的变化率，也就是 \(l\)-Lipschitz 概念，得到其 \(\le sl(h _1(x _m)-h _2(x _m))\)，其中 \(s\) 是修正符号
然后是刚才的逆过程：用 \(\sup\) 又上限住两者同时统一形式，一正一负的求和又把 \(\mathbb{E} _{\sigma _m}\) 请了回来，最后得到 \(\mathbb{E} _{\sigma _m}[\sup \sum _{i=1} ^{m-1}+\sigma _m(\Phi _m\circ h)(x _m)]\le \mathbb{E} _{\sigma _m}[\sup \sum _{i=1} ^{m-1}+\sigma _m l h(x _m)]\)；对其他 \(\sigma\) 同理即可

利用该定理，给出我们关于泛化误差 \(R(h)\) 的上界：

Th. Margin bound for binary classification
\(\cal H\) 是映射 \(h:\cal X\to \mathbb{R}\) 的集合（以其符号进行二分类）。固定置信间隔 \(\rho>0\)，以至少 \(1-\delta\) 的概率，对任意 \(h\in \cal H\) 有：

\[\begin{aligned} R(h)&\le \widehat{R} _{S,\rho}(h) + \frac{2}{\rho}{{{\frak{R}} _{m}}}({\cal H})+\sqrt{\frac{\log \frac{1}{\delta}}{2m}} \\ R(h)&\le \widehat{R} _{S,\rho}(h) + \frac{2}{\rho}{{\widehat{\frak{R}} _{S}}}({\cal H})+3\sqrt{\frac{\log \frac{2}{\delta}}{2m}} \end{aligned} \]

其中 \(R(h)=\mathbb{E}[1 _{yh(x)\le 0}],\ \widehat{R} _{S,\rho}(h)=\frac{1}{m}\sum _{i=1}^m \Phi _{\rho}(y _i h(x _i))\)

证明，以第一个式子为例，第二个式子同理
首先 \(R(h)\le \mathbb{E}[\Phi _{\rho}(yh(x))]\)
记 \(\widetilde{\cal H}=\{z=(x,y)\mapsto yh(x):h\in \cal H\},\ {\cal G}=\Phi _{\rho}\circ\widetilde{\cal H}\)，后者元素为 \(g:z\to [0,1]\)，代入定理（见 3.1）

\[\mathbb{E}[g(z)]\le \frac{1}{m}\sum _{i=1} ^{m}g(z _i) + 2{{{\frak{R}} _{m}}}({\cal G})+\sqrt{\frac{\log \frac{1}{\delta}}{2m}} \\ \begin{aligned} \implies \mathbb{E}[\Phi _{\rho}(yh(x))] & \le \widehat{R} _{S,\rho}(h) + 2{{{\frak{R}} _{m}}}(\Phi _{\rho}\circ\widetilde{\cal H})+\sqrt{\frac{\log \frac{1}{\delta}}{2m}} \\ & \le \widehat{R} _{S,\rho}(h) + \frac{2}{\rho}{{{\frak{R}} _{m}}}(\widetilde{\cal H})+\sqrt{\frac{\log \frac{1}{\delta}}{2m}} \\ \end{aligned} \]

且 \({\frak{R}} _{m}(\widetilde{\cal H})=\mathbb{E} _{S,\sigma}[\sup _{h\in \cal H}\frac{1}{m}\sum _{i=1}^m \sigma _i y _i h(x _i)]\) 可以直接把 \(y _i\) 去掉（可见 Rademacher 变量可以做为有无标签的桥梁），也就是 \({\frak{R}} _{m}({\cal H})\)，于是得证

观察式子，它包含关于置信区间 \(\rho\) 的 trade-off：增大 \(\rho\)，第二项会减小，但是第一项会被惩罚地更多。进一步思考：

（这是一个我从未注意过的问题）
既然这是个关于 \(\rho\) 的 trade-off，那么我们能不能考虑滑动这个 \(\rho\) 以达到一个理想的上界呢？
答案是不能。为什么？
当我们滑动 \(\rho\) 时，我们求最值的这个过程等价于承认了这个不等式对滑到的任意 \(\rho\) 成立，更完整地说，命题变成：“以至少 \(1-\delta\) 的概率，对任意 \(\rho\) 成立”
而我们原本的定理是：“对一个 \(\rho\) 以至少 \(1-\delta\) 的概率成立”。显然两者是不等价的：前者事件是后者的交，而概率会小等于后者
因此我们想要滑动 \(\rho\) 的话，我们不能在原定理上滑，我们应该先给出一个对一个范围内的 \(\rho\)（以某个概率）同时成立的定理

Th. Margin bound for \(\rho\in (0,r]\)
\(\cal H\) 是映射 \(h:\cal X\to \mathbb{R}\) 的集合（以其符号进行二分类）。固定 \(r>0\)，以至少 \(1-\delta\) 的概率，对任意 \(h\in \cal H,\rho\in (0,r]\) 有：

\[\begin{aligned} R(h)&\le \widehat{R} _{S,\rho}(h) + \frac{4}{\rho}{{{\frak{R}} _{m}}}({\cal H})+\sqrt{\frac{\log \log _2 \frac{2r}{\rho}}{m}} +\sqrt{\frac{\log \frac{2}{\delta}}{2m}} \\ R(h)&\le \widehat{R} _{S,\rho}(h) + \frac{4}{\rho}{{\widehat{\frak{R}} _{S}}}({\cal H})+\sqrt{\frac{\log \log _2 \frac{2r}{\rho}}{m}} +3\sqrt{\frac{\log \frac{4}{\delta}}{2m}} \end{aligned} \]

证明思路，以第一个式子为例：
利用原定理的另一个表述：\(\Pr[\sup _{h\in\cal H}\{f(\rho,\epsilon)\}>0]\le \exp(-2m\epsilon ^2)\)，\(f\) 就是把不等式的项全部移到一边
构造事件序列：\((\rho _k) _{k\ge 1}, ({\epsilon} _k) _{k\ge 1}\)，套进该式，然后用 union bound 合并事件：

\[\Pr[\sup _{h\in\cal H, k\ge 1}\{f(\rho _k,\epsilon _k) \}>0]\le \sum _{k\ge 1} \exp(-2m\epsilon _k ^2) \]

后者需要进一步放缩成关于 \(\epsilon\) 的式子，往级数求和收敛靠，取 \(\epsilon _k=\epsilon + u _k\)，狠狠放缩：

\[\begin{aligned}= \sum _{k\ge 1} \exp(-2m(\epsilon +u _k) ^2) \le \exp(-2m\epsilon ^2)\sum _{k\ge 1} \exp(-2mu _k ^2)\end{aligned} \]

根据该式构造 \(u _k\)：取开方，除以 \(m\)，再套一个 \(\log\)，即 \(u _k = \sqrt{(\log k)/m}\)，丢进去，级数求和收敛：

\[=\exp(-2m\epsilon ^2)\sum _{k\ge 1}1/k ^2=\frac{\pi ^2}{6}\exp(-2m\epsilon ^2)\le 2\exp(-2m\epsilon ^2) \]

得到对事件序列 \((\rho _k) _{k\ge 1}\) 成立的引理，接下来把 \(\rho\in (0, r]\) 套进去，假设 \(\rho\) 的界对应为 \(g(\rho)\)，即证明 \(\Pr[\sup _{h\in \cal H,\rho\in(0,c]}\{ g(\rho)\}>0]\le \Pr[\sup _{h\in\cal H, k\ge 1}\{f(\rho _k) \}>0]\)，不妨证明前者包含于后者，即 \(\sup _{h\in \cal H,\rho\in(0,c]}\{ g(\rho)\}\le \sup _{h\in\cal H, k\ge 1}\{f(\rho _k) \}\)，不妨证明对任意 \(\rho \in(0,c]\)，总存在 \(\rho _k\) 使得 \(g(\rho)\le f(\rho _k)\)
由于 \(f(\rho _k)=R(h)-\widehat{R} _{S,\rho _k}(h) -\frac{2}{\rho _k}{{{\frak{R}} _{m}}}({\cal H})-\epsilon-\sqrt{(\log k)/m}\)，为了向下放缩，可以先取 \(\rho _k=r/2 ^k\)，从而对于任意 \(\rho\in (0,r]\)，总存在 \(\rho\in(\rho _k,\rho _{k-1}],\rho \le 2\rho _k\)，这样设计使得我们同时拥有 \(\rho _k, \rho\) 的不同方向的不等号，方便我们对每一项选择其一进行放缩，放缩后的式子即为 \(g(\rho)\)，从而得证

对于有界情况，先对 Rademacher 复杂度提出一个上界：

Th. Bound for Rademacher complexity, bounded weight vectors case
容量为 \(m\) 的样本 \(S\sube \{{\bf x:\Vert x\Vert}\le r\}\)，假设集合 \({\cal H}=\{{\bf x\mapsto w\cdot x:\Vert w\Vert}\le \Lambda\}\)，则 \(\cal H\) 的 Rademacher complexity 具有上界：

\[\widehat{\frak{R}} _S({\cal H})\le \sqrt{\frac{r ^2 \Lambda ^2}{m}} \\ {\frak{R}} _m({\cal H})=\mathbb{E} _{S}[\widehat{\frak{R}} _S({\cal H})]\le \sqrt{\frac{r ^2 \Lambda ^2}{m}} \]

注意到上界是一个和特征空间 \(\cal X\)（的维度）无关的式子，具体后面会讨论

证明：
\(\widehat{\frak{R}} _S({\cal H})=\frac{1}{m}\mathbb{E} _{\boldsymbol{\sigma}}[\sup _{{\Vert {\bf w}\Vert}\le \Lambda}\sum _{i=1} ^m \sigma _i {\bf w\cdot x} _i]\)
提出 \(\bf w\)，对 \({\bf w}\cdot \sum _{i=1} ^m \sigma _i {\bf x} _i\) 用柯西不等式 Cauchy-Schwartz \(\bf |a\cdot b|\le |a|\cdot |b|\)：
\({\bf w}\cdot \sum _{i=1} ^m \sigma _i {\bf x} _i\le \Vert{\bf w}\cdot \sum _{i=1} ^m \sigma _i {\bf x} _i\Vert\le \Vert{\bf w}\Vert\cdot \Vert\sum _{i=1} ^m \sigma _i {\bf x} _i\Vert\le \Lambda\Vert\sum _{i=1} ^m \sigma _i {\bf x} _i\Vert\)
\(\mathbb{E} _{\boldsymbol{\sigma}}[\Vert\sum _{i=1} ^m \sigma _i {\bf x} _i\Vert]=\mathbb{E} _{\boldsymbol{\sigma}}[\sqrt{\sum _{i=1} ^m \sum _{j=1}^m \sigma _i\sigma _j {\bf x} _i\cdot {\bf x} _j}]=\mathbb{E} _{\boldsymbol{\sigma}}[\sqrt{\sum _{i\ne j} \sigma _i\sigma _j {\bf x} _i\cdot {\bf x} _j + \sum _{i=1} ^m \Vert{\bf x} _i\Vert ^2}]\)，考虑把 \(\mathbb{E}\) 塞进根号里就能去掉 \(\sum _{i\ne j}\)，考虑 Jensen 不等式：凸函数 \(f\) 有 \(f(\mathbb{E}[X])\le \mathbb{E}[f(X)]\)，取 \(f\) 为平方，则原式的平方小等于 \(\mathbb{E} _{\boldsymbol{\sigma}}[{\sum _{i\ne j} \sigma _i\sigma _j {\bf x} _i\cdot {\bf x} _j + \sum _{i=1} ^m \Vert{\bf x} _i\Vert ^2}]=\mathbb{E} _{\boldsymbol{\sigma}}[{\sum _{i=1} ^m \Vert{\bf x} _i\Vert ^2}]\le mr ^2\)，代入得到 \(\Lambda \sqrt{m r ^2}/m=\sqrt{r ^2\Lambda ^2 / m}\)

合并该定理和上述两种定理，分别得到：

Th. Margin bound, bounded weight vectors case
容量为 \(m\) 的样本 \(S\sube \{{\bf x:\Vert x\Vert}\le r\}\)，假设集合 \({\cal H}=\{{\bf x\mapsto w\cdot x:\Vert w\Vert}\le \Lambda\}\)，则

1. 固定置信间隔 \(\rho>0\)，以至少 \(1-\delta\) 的概率，对任意 \(h\in \cal H\) 有：

\[R(h)\le \widehat{R} _{S,\rho}(h) + \frac{2}{\rho}\sqrt{\frac{r ^2 \Lambda ^2}{m}}+\sqrt{\frac{\log \frac{1}{\delta}}{2m}} \]

2. 对于该固定的 \(r>0\)，以至少 \(1-\delta\) 的概率，对任意 \(h\in \cal H,\rho\in (0,r]\) 有：

\[R(h)\le \widehat{R} _{S,\rho}(h) + \frac{4}{\rho}\sqrt{\frac{r ^2 \Lambda ^2}{m}}+\sqrt{\frac{\log \log _2 \frac{2r}{\rho}}{m}} +\sqrt{\frac{\log \frac{2}{\delta}}{2m}} \]

观察式子，这个上界只和分类面 margin 有关，即对样本的分类惩罚项 \(\widehat{R} _{S,\rho}(h)\) 和 \(r\Lambda/\rho\) 项。对于线性可分情况，记当前分类面的几何距离为 \(\rho _\text{geom}\)，令 \(\rho=\rho _\text{geom}\)，则分类惩罚项为零，对于后一项显然令几何距离越大越好，这就是 SVM 算法来由的理论保障
此外，我们曾经提到过泛化误差的下界是关于特征空间 \(\cal X\) 及其分布的式子，而这个定理给的上界看起来与之无关。实际上这并不矛盾，因为下界的叙述是对于总是存在的那个不好的分布 \(\cal D\) 而言的，而这种分布下，上界会因为巨大的经验误差 \(\widehat{R} _{S,\rho}(h)\) 变得很松；因此，即使上界从式子上看起来无关，是否存在一个好的分类面（从而使得经验误差足够小）却是和特征空间的分布有关的