【笔记】机器学习基础 - Ch3. Rademacher Complexity & VC-Dimension

🥰 | 😱

3.1 Rademacher Complexity

现在考虑无限集合 \(\cal H\)，并给出几个 guarantee
损失函数为映射 \(L:\cal Y\times Y\to \mathbb{R}\)；样本 \((x,y)\) 通过某个假设 \(h\in \cal H\) 再通过某个损失函数，可以视作一个从 \(\cal Z=X\times Y\) 到 \(\mathbb{R}\) 的映射 \(g\)，其集合 \(\cal G\) 用以表示上述 “基于 \(\cal H\) 的损失函数集合”：\({\cal G}=\{g:(x,y)\mapsto L(h(x),y):h\in\cal H\}=\{g:\cal Z\to \mathbb{R}\}\)
Rademacher Complexity 通过刻画函数集合 “拟合噪声的能力”，进而刻画其丰富程度（captures the richness of a family of functions by measuring the degree to which a hypothesis set can fit random noise）

定义 Empirical Rademacher complexity
函数集合 \(\cal G=\{g: Z\to [a,b]\}\)；样本 \(S=(z _1,\dotsb, z _m)\in \cal Z ^m\)，定义 \(\cal G\) 就关于 \(S\) 的 “经验 Rademacher 复杂度” 为：

\[\widehat{\frak{R}} _S({\cal G}) = \mathbb{E} _{\boldsymbol \sigma}\left[\sup _{g \in \cal G} \frac{1}{m}\sum _{i=1}^m \sigma _i g(z _i) \right]= \mathbb{E} _{\boldsymbol\sigma}\left[\sup _{g \in \cal G} \frac{{\boldsymbol \sigma}\cdot {\bf g} _S}{m} \right] \]

其中 “噪声” \(\boldsymbol{\sigma}=(\sigma _1,\dotsb,\sigma _m)'\)，为 \(m\) 个独立服从 \(\{-1,+1\}\) 平均分布的变量，也称为 Rademacher 变量（后面证明里会提到这个谜之变量怎么出现的）；我们用 \(g\) 对样本 \(S\) 的映射结果 \({\bf g} _S\) 作为拟合噪声，并用点积刻画拟合程度（既然映射结果是有界的，那么这么理解还是有道理的）。
可见 \(\widehat{\frak{R}} _S({\cal G})\) 表示 \(\cal G\) 中以采样 \(S\) “尽可能拟合”（通过 \(g\) 映射并取上界）各个噪声的平均能力（取期望值），从而反映 \(\cal G\) 的丰富程度。
进一步地，定义 \(\cal G\) 的 “Rademacher 复杂度” 为：

定义 Rademacher complexity
\(S\sim\cal D ^m\)，对于任意正整数 \(m\)，\(\cal G\) 的 Rademacher complexity 为其抽取 \(m\) 个样本得到经验 Rademacher 复杂度的期望值，也就是 “期望以随机采样” 拟合各个噪声的平均能力：

\[{\frak{R}} _m({\cal G})=\mathbb{E} _{S\sim \cal D ^m}[\widehat{\frak{R}} _S({\cal G})] \]

接下来就损失函数的期望，给出 generalization bound：

定理
函数集合 \({\cal G}=\{g: Z\to [0,1]\}\)；以 i.i.d. 抽取 \(S=(z _1,\dotsb, z _m)\)，对于任意 \(\delta>0\)，以至少 \(1-\delta\) 的概率，对任意 \(g\in \cal G\) 都有其期望值 \(\mathbb{E}[g]\)：

\[\mathbb{E} _{z\sim \cal D}[g(z)]\le \frac{1}{m}\sum _{i=1} ^{m}g(z _i) + 2{\color{deeppink}{{\frak{R}} _{m}}}({\cal G})+\sqrt{\frac{\log \frac{1}{\delta}}{2m}} \tag{1} \]

\[\mathbb{E} _{z\sim \cal D}[g(z)]\le \frac{1}{m}\sum _{i=1} ^{m}g(z _i) + 2{\color{deeppink}{\widehat{\frak{R}} _{S}}}({\cal G})+3\sqrt{\frac{\log \frac{2}{\delta}}{2m}} \tag{2} \]

也就是说，以很大的概率，\(\cal G\) 里任意一个损失函数 \(g\) 的期望值 \(\mathbb{E}[g]\)，通过采样，都被采样试探出的平均值 + 一个刻画 \(\cal G\) 多样性的值（或者 \(\cal G\) 单就在样本 \(S\) 上体现的多样性）+ 一个负相关于采样数量的值给上限住了。单个函数为什么会和总体多样性有关？感性理解这是 “任意” 带来的代价。
证明：
对于 \((1)\) 式，将 \(g\) 关于 \(S\) 的经验平均值记为 \(\widehat{\mathbb{E}} _S[g]=\frac{1}{m}\sum _{i=1}^m g(z _i)\)，并移到左边：\(\mathbb{E}[g]-\widehat{\mathbb{E}} _S[g]\)；定理对任意 \(g\) 的表述，等价刻画成左式看作关于 \(S\) 的函数并在 \(\cal G\) 取上界 \(\Phi(S)=\sup _{g\in \cal G}(\mathbb{E}[g]-\widehat{\mathbb{E}} _S[g])\)，然后考虑对其放缩
考虑 McDiarmid 不等式（见补充）用在 \(\Phi(S)\) 上：对于仅有一个点改变的 \(S, S'\)，由于上界的差不超过差的上界，有 \(\Phi(S')-\Phi(S)\le \sup _{g\in \cal G}(\widehat{\mathbb{E}} _S[g]-\widehat{\mathbb{E}} _{S'}[g])\le 1/m\)，于是应用不等式，以至少 \(1-\delta/2\) 的概率，有 \(\Phi(S)\le \mathbb{E} _S[\Phi(S)]+\sqrt{\frac{\log(2/\delta)}{2m}}\)，接下来考虑这个期望值：

\[\begin{aligned} \mathbb{E} _S[\Phi(S)] &= \mathbb{E} _S\left[ \sup _{g\in \cal G}\left(\mathbb{E}[g] - \widehat{\mathbb{E}} _S(g) \right) \right] \\ &= \mathbb{E} _S\left[ \sup _{g\in \cal G}\mathbb{E} _{S'}\left[\widehat{\mathbb{E}} _{S'}(g) - \widehat{\mathbb{E}} _S(g) \right] \right] &; \text{double sample trick 从而统一形式}\\ &\le \mathbb{E} _{S, S'}\left[ \sup _{g\in \cal G}\left(\widehat{\mathbb{E}} _{S'}(g) - \widehat{\mathbb{E}} _S(g) \right) \right] &; \sup\mathbb{E}[X]\le\mathbb{E}[\sup X] \\ &= \mathbb{E} _{S, S'}\left[ \sup _{g\in \cal G}\left(\frac{1}{m}\sum _{i=1}^m (g(z' _i)-g(z _i)) \right) \right] &;\text{接下来引入 Rademacher 变量！} \\ &= \mathbb{E} _{\boldsymbol{\sigma},S, S'}\left[ \sup _{g\in \cal G}\left(\frac{1}{m}\sum _{i=1}^m\sigma _i (g(z' _i)-g(z _i)) \right) \right] &; \text{$S,S'$ 对称，任意交换 $z, z'$} \\ &\le 2\cdot \mathbb{E} _{\boldsymbol{\sigma},S}\left[ \sup _{g\in \cal G}\left(\frac{1}{m}\sum _{i=1}^m\sigma _i g(z' _i) \right) \right]=2{\frak{R}} _m({\cal G}) &;\sup(A+B)\le \sup A + \sup B \end{aligned} \]

注意证明里自从引入了谜之 Rademacher 变量，我们将对称的 \(S,S'\) 分开后可以摆脱正负号限制（随意变号），真是神奇的设计
从而 \((1)\) 式以至少 \(1-\delta\) 概率成立；对于 \((2)\) 式，只需要在 \((1)\) 式的基础上，注意到 \(\widehat{\frak{R}} _{S}(\cal G)\) 在改变一个样本点时最多改变 \(1/m\)（注意 \(g\) 只映射到 \([0,1]\)）且 \(\mathbb{E} _S(\widehat{\frak{R}} _{S}(\cal G))={\frak{R}} _{m}(\cal G)\)，故再次使用 McDiarmid 不等式，以至少 \(1-\delta/2\) 概率有 \({\frak{R}} _{m}(\cal G)\le \widehat{\frak{R}} _{S}(\cal G)+\sqrt{\frac{\log(2/\delta)}{2m}}\) 然后用 union bound 简单相加概率，即可证得 \((2)\) 式。

二分类：泛化误差的界
本文后面的内容中，我们基本都对二分类进行讨论
\({\cal H}=\{h:{\cal X\to Y}=\{-1,+1\}\}\)，\(\cal G=\{(x,y)\mapsto 1 _{h(x)\ne y}:h\in \cal H \}\)，记 \(S=(x _1,\dotsb, x _m), S'=((x _1, y _1),\dotsb,(x _m, y _m))\)
我们以 zero-one loss \(1 _{h(x)\ne y}\) 固定住 \(g\)，从而使得基于 \(\cal H\) 的 \(\cal G\) 变成只是 \(\cal H\) 和固定映射的复合，然后回顾一下之前提到的概念：
\(\mathbb{E}[g]={\mathbb E} _{(x,y)}[1 _{h(x)\ne y}]=R(h)\) 即泛化误差；\(\widehat{\mathbb{E}} _S[g]=\frac{1}{m}\sum _{i=1}^{m} 1 _{h (x _i)\ne y_i}=\widehat{R} _S(h)\) 即经验误差；那么 \(\widehat{\frak{R}} _{S'}({\cal G})\) 又变成什么了呢？

\[\begin{aligned} 2\widehat{\frak{R}} _{S'}({\cal G}) &= 2 \mathbb{E} _{\boldsymbol \sigma}\left[\sup _{h \in \cal H} \frac{1}{m}\sum _{i=1}^m \sigma _i 1 _{h(x _i)\ne y _i} \right]&; 1 _{h(x)\ne y}=\frac{1-h(x)y}{2} \\ &= \mathbb{E} _{\boldsymbol \sigma}\left[\sup _{h \in \cal H} \frac{1}{m}\sum _{i=1}^m -\sigma _i h(x _i) y _i \right]&; \text{$\sigma$ 随意变号} \\ &= \mathbb{E} _{\boldsymbol \sigma}\left[\sup _{h \in \cal H} \frac{1}{m}\sum _{i=1}^m \sigma _i h(x _i) \right] = \widehat{\frak{R}} _{S}({\cal H}) \end{aligned} \]

同取期望有 \(2{\frak{R}} _m({\cal G})={\frak{R}} _m({\cal H})\)，于是原定理变为对于任意 \(h\in \cal H\)，以至少 \(1-\delta\) 概率有

\[R(h)\le \widehat{R} _S(h) + {\frak{R}} _m({\cal H})+\sqrt{\frac{\log \frac{1}{\delta}}{2m}} \\ R(h)\le \widehat{R} _S(h) + \widehat{\frak{R}} _{S}({\cal H}) +3\sqrt{\frac{\log \frac{2}{\delta}}{2m}} \]

且不论 \({\frak{R}} _m({\cal H})\)，\(\widehat{\frak{R}} _{S}({\cal H})=\mathbb{E} _{\boldsymbol \sigma}[\sup _{h \in \cal H} \frac{1}{m}\sum _{i=1}^m \sigma _i h(x _i) ]\) 又怎么计算呢？固定 \(\boldsymbol \sigma\) 后等价于一个最小化经验风险的问题，往往是 computationally hard 的。接下来要做的是为它给出一个界。

3.2 Growth function

增长函数做出的进步是其不再依赖于数据分布，而是变为单纯组合的 combinatorial 形式

定义 Growth function
假设集合 \(\cal H\) 关于样本容量 \(m\) 的函数：增长函数 growth function \(\Pi _{\cal H}:\mathbb{N\to N}\)，定义为输入空间 \(\cal X ^m\) 的任意一点被 \(\cal H\) 的所有元素映射出的象的最大个数：

\[\forall m\in \mathbb{N},\quad\Pi _{\cal H}(m)=\max _{(x _1,\dotsb, x _m)\in \cal X ^m} \left|\Big\{(h(x _1), \dotsb, h(x _m)):h\in \cal H\Big\} \right| \]

称 \((h(x _1), \dotsb, h(x _m))\) 为 dichotomy，也就是假设能最多划分出的 dichotomy 的个数。显然对于二分类问题，\(\Pi _{\cal H}(m)\le 2 ^m\)

定理 Growth function generalization bound
对于映射到 \(\{-1,+1\}\) 的函数集合 \(\cal G\)，记 \({\cal G} _{|S}=\{ g(S):g\in\cal G\}\)，其元素的 2-范数上界为 \(\sqrt{m}\)，应用 Massart's lemma 放缩（见补充）对集合求大小从而引入了 growth function：

\[{\frak{R}} _m({\cal G})=\mathbb{E} _S\left[\mathbb{E} _{\boldsymbol \sigma}\left[\sup _{{\bf u} \in{\cal G} _{|S}} \frac{{\boldsymbol{\sigma}\cdot{\bf u}}}{m} \right]\right]\le \mathbb{E} _S\left[\frac{\sqrt{m}\sqrt{2\log |{\cal G} _{|S}|}}{m} \right]=\sqrt{\frac{2\log \Pi _{\cal G}(m)}{m}} \]

从而以至少 \(1-\delta\) 的概率，对任意 \(h:{\cal X}\to \{-1,+1\}\in \cal H\)，有

\[R(h)\le \widehat{R} _S(h) + \sqrt{\frac{2\log \Pi _{\cal H}(m)}{m}}+\sqrt{\frac{\log \frac{1}{\delta}}{2m}} \]

或者写成 \(\Pr[|R(h)-\widehat{R} _S(h)|>\epsilon]\le \Pi _{\cal H}(2m)\exp(-m\epsilon ^2/8)\)
求 \(\Pi _{\cal H}\) 也不容易，接下来进一步放宽上界以求得更简单的边界

3.3 VC-dimension

依然考虑二分类。当 \(\cal H\) 的元素能将 \(S\) 映射到所有可能的 dichotomies 时，称 \(S\) 被 \(\cal H\) 打散 shattered，此时 \(\Pi _{\cal H}(m)=2 ^m\)。据此定义 VC 维：

定义 VC-dimension
二分类。假设集合 \(\cal H\) 的 VC 维，定义为最大地能被 \(\cal H\) 打散的样本的容量：

\[\text{VCdim}({\cal H})=\max \{m:\Pi _{\cal H}(m)=2 ^m\} \]

当然，只要存在那么一个容量 \(m\) 的样本就行了。例如对于平面上的点，使用所有直线为假设集合时，VC 维为 3，因为只要 3 个点不共线就可以，而 4 个点形成矩形且相邻点不同的情况就是反例。证明 VC 维往往需要我们为其构造一个解，同时证明大于的情况都是不可行的。
记 \(\text{VCdim}({\cal H})=d\)，现在我们可以用 Sauer's lemma 为 Growth function 给出组合形式的上界：\(\Pi _{\cal H}(m)\le\sum _{i=0}^{d} C _m^i\)
证明略。其实只要自己尝试构造一下就会发现这个上界是最紧的。我们不妨将其理解为 “\(m\) 个元素至多 \(d\) 个 \(1\) 的方案数”，由此它也暗示了一种构造方法：对于 \((x _1,\dotsb, x _m),m> d\)，映射结果 \(\{(h(x _1,\dotsb, h(x _m)):h\in{\cal H})\}\) 满足对于任意 \((x _{k _1},\dotsb, x _{k _{d+1}})\)，映射结果不能全部为 \(1\)；如此自然 VC 维就不可能大于 \(d\)，而这样的方案数恰好就是上面的式子。
用这个式子，当 \(m\ge d\) 时，我们继续放缩（还放啊）：

\[\begin{aligned} \Pi _{\cal H}(m)&\le\sum _{i=1} ^d C _m ^i \le \sum _{i=1} ^m C _m ^i (\frac{m}{d}) ^{d-i}=(\frac{m}{d}) ^d (1+\frac{d}{m}) ^m \\ &\le (\frac{m}{d}e) ^d \end{aligned} \]

可见对于 Growth function generalization bound，当 \(\cal H\) 没那么“万能”—— \(\text{VCdim}(\cal H)<+\infty\) 时，\(\Pi _{\cal H}(m)\) 会限制在多项式级别；但是 \(\text{VCdim}(\cal H)=+\infty\) 时就只剩指数级上界 \(2 ^m\) 了——大概过拟合就是过于万能的假设集合缺少上界造成的。总之，我们对于有限 VC 维，给出它的上界：

定理 VC-dimension generalization bound
假设集合 \(\cal H\) 映射到 \(\{-1, +1\}\)，VC 维为 \(d\)。对任意 \(\delta> 0\)，以至少 \(1-\delta\) 的概率，对任意 \(h\in \cal H\) 有：

\[R(h)\le \widehat{R} _S(h) + \sqrt{\frac{2d\log\frac{em}{d}}{m}} + \sqrt{\frac{\log\frac{1}{\delta}}{2m}} \]

也就是泛化界是 \(O(\sqrt{\frac{\log(m/d)}{m/d}})\)，可见 \(m/d\) 越大越好，从而又一次验证了在经验误差基本一个水平的情况下，VC 维越小越好——假设越简单越好（Occam's razor）
另外不通过 Rademacher 复杂度也可以导出相同复杂度的上界 \(R(h)\le \widehat{R} _S(h)+\sqrt{(8d\log \frac{2em}{d}+8\log \frac{4}{\delta})/m}\)

3.4 Lower bounds

我们现在为泛化误差找下界，下界是因为总存在不好的分布和目标假设。分为两种情况：realizable setting 假设集合里存在期望误差为零的假设，而 non-realizable setting 不存在这种假设（比如 Ch2 提到的随机情景 stochastic scenario）。

定理 Lower bound, realizable case
假设集合 \(\cal H\)，其 VC 维 \(d>1\)。于是，对于任意 \(m\ge 1\) 和任意算法 \(\cal A\)，总存在分布 \(\cal D\) 和目标假设 \(f\in\cal H\) 使得：

\[\mathbb{P} _{S\sim\cal D ^m}\left[R _{\cal D}(h _S, f)>\frac{d-1}{32m} \right]\ge 0.01 \]

观察式子，又是 \(d/m\)，可见 VC 维确实好用。至于 VC 维无穷大的 realizable 情况，则 PAC 学习是不可行的。
证明：
我也不知道重不重要，先抄着吧。记被 \(\cal H\) shattered 的点为 \(\bar{\cal X}=\{x _0,x _1,\dotsb, x _{d-1}\}\)，并取分布 \(\cal D\) 只落在这 \(d\) 个点上，满足 \(\Pr _{\cal D}[x _0]=1-8\epsilon, \Pr _{\cal D}[x _i]=8\epsilon/(d-1)\)
如此设计使得大部分样本点都落在 \(x _0\)，算法对 \(x _0\) 肯定不会有误差了；对于训练集里没出现过的点，由于 \(\bar{\cal X}\) 被 shattered 也就是 \(\cal H\) 里啥都有，因此对 \(f\in H\) 在此处的假设不如直接让算法丢硬币；剩下的不是 \(x _0\) 的那些样本，我们记其集合为 \(\bar{S}\sube S\)，可以认为它们的标签多少被算法记一些
定义 \({\cal S}=\{S:|S|=m,|\bar{S}|\le (d-1)/2\}\)，从里头采样 \(S\)，并且认为损失函数 \(f:\bar{X}\to\{0,1\}\) 等概率出现，于是计算期望误差：

\[\begin{aligned} \mathbb{E} _{f}[R _{\cal D}(h _S, f)]&=\sum _f\sum _{x\in \bar{X}} 1 _{h _S(x)\ne f(x)} \Pr[x]\Pr[f] \\ &\ge \sum _f\sum _{x\notin \bar{S}} 1 _{h _S(x)\ne f(x)} \Pr[x]\Pr[f] &;\text{算法顶多把 $\bar{S}$ 的全记下来了} \\ &=\sum _{x\notin \bar{S}}\left( \sum _f 1 _{h _S(x)\ne f(x)} \Pr[f] \right)\Pr[x]=\frac{1}{2} \sum _{x\notin \bar{S}}\Pr[x] &;\text{没见过的点就抛硬币} \\ &\ge \frac{1}{2}\frac{d-1}{2}\frac{8\epsilon}{d-1}=2\epsilon \end{aligned} \]

对每个 \(S\) 均成立，在 \(\cal S\) 上取期望也成立，然后把交换期望顺序（Fubini's theorem），得到 \(\mathbb{E} _{f}[\mathbb{E} _{S\in {\cal S}}[R _{\cal D}(h _S, f)]]\ge 2\epsilon\)，也就是存在一个 \(f _0\) 使得 \(\mathbb{E} _{S\in {\cal S}}[R _{\cal D}(h _S, f _0)]\ge 2\epsilon\)；同时注意一个显然的事实：\(R _{\cal D}(h _S, f _0)\le \Pr _{\cal D}[\bar{X}/\{x _0\}]\)，因为后者是除了 \(x _0\) 全部猜错的损失。放缩：

\[\begin{aligned} 2\epsilon\le\mathbb{E} _{S\in {\cal S}}[R _{\cal D}(h _S, f _0)]&=\sum _{S:R _{\cal D}(h _S, f _0)\ge \epsilon}R _{\cal D}(h _S, f _0)\Pr[R _{\cal D}(h _S, f _0)] \\ &\quad +\sum _{S:R _{\cal D}(h _S, f _0)< \epsilon}R _{\cal D}(h _S, f _0)\Pr[R _{\cal D}(h _S, f _0)] \\ &\le \Pr _{\cal D}[\bar{X}/\{x _0\}] \Pr _{S\in {\cal S}}[R _{\cal D}(h _S, f _0)\ge \epsilon]&;\text{求和号内放缩，提出去} \\ &\quad + \epsilon\Pr _{S\in {\cal S}}[R _{\cal D}(h _S, f _0)< \epsilon]&;\text{使用条件放缩} \\ &\le 8\epsilon \Pr _{S\in {\cal S}}[R _{\cal D}(h _S, f _0)\ge \epsilon]\\ &\quad +\epsilon(1-\Pr _{S\in {\cal S}}[R _{\cal D}(h _S, f _0)\ge \epsilon]) \end{aligned} \]

解方程，得到 \(\Pr _{S\in {\cal S}}[R _{\cal D}(h _S, f _0)\ge \epsilon]\ge 1/7\)，然后对原式 \(\Pr _{S}[\cdot]\ge\Pr _{S\in {\cal S}}[\cdot]\Pr[{\cal S}]\ge \Pr[{\cal S}]/7\)，再对 \(\Pr[{\cal S}]\) 用个什么 multiplicative Chernoff bound 放缩一下，最后得证。
总之这个证明还是一如既往地信息量很大，有些像是技巧又像是暴力的东西，很是跳跃

对于 non-realizable 情况，也给出下界：

定理 Lower bound, non-realizable case
假设集合 \(\cal H\)，其 VC 维 \(d>1\)。于是，对于任意 \(m\ge 1\) 和任意算法 \(\cal A\)，总存在 \(\cal X\times\{0,1\}\) 上的分布 \(\cal D\) 使得：

\[\mathbb{P} _{S\sim\cal D ^m}\left[R _{\cal D}(h _S)-\inf _{h\in \cal H}R _{\cal D}(h)>\sqrt{\frac{d}{320m}} \right]\ge 1/64 \]

该式即之前提到的 agnostic PAC-learning，只不过给出的是误差下界；等价于 \(m\ge \frac{d}{320\epsilon ^2}\) 时很大概率误差会超过 \(\epsilon\)；同时可知，当 VC 维无穷大时 agnostic PAC-learning 是不可行的。

Exercises

VC dimension of a vector space of real function
有限维向量空间（vector space，线性空间）\(F\) 的元素为映射 \(f:{\cal X}\to \mathbb{R}\)，且 \(\dim(F)=r<\infty\)。取假设集合 \(H=\{\{x:f(x)\ge 0\}:f\in F\}\)，证明 \(\text{VCdim}(H)\) 有限且小等于 \(r\)

思路：取 \(S=(x _1,\dotsb, x _{r+1})\)，即证对任意 \(S\)，\(H\) 都无法将其打散，可以试着证明所有 \(h\in H\) 都无法映射到某一个特定的象上

证明：对任意 \(S=(x _1,\dotsb, x _{r+1})\)，取 \(l:F\to \mathbb{R} ^{r+1}\)，为 \(l(f)=(f(x _1),\dotsb, f(x _{r+1}))\)，显然 \(\mathbb{R} ^{r+1}\) 上的集合 \(L=\{l(f):f\in F\}\) 也构成一个向量空间且 \(\dim(L)\le r\)，故存在非零 \(\boldsymbol{\alpha}\in \mathbb{R} ^{r+1}\) 与 \(L\) 正交：

\[\forall f\in F,\quad \sum _{i=1}^m \alpha _i f(x _i)=0\implies \sum _{i:\alpha _i\ge 0}\alpha _i f(x _i)=-\sum _{i:\alpha _i< 0}\alpha _i f(x _i) \]

令 \(\alpha _i\) 至少有一个小于零。接下来对于 \(S\)，令 \(h(S)=\{x:f(x)\ge 0\}=\{x _i:x _i \text{ in LHS}\}\)，那么上面等式里左式大等于零，右式小于零，矛盾，故无法取到这个映射结果。故得证。

补充

McDiarmid 不等式
\(m\) 维独立随机变量 \(S=(X _1,\dotsb, X _m)\in \cal X ^m\)；若对于每个 \(i\in [m]\) 都存在一个 \(c _i>0\)，使得多元函数 \(f:\cal X ^m\to\mathbb{R}\) 在任何时候单独以每一维取值变化时的函数值变化量不超过 \(c _i\)（于是若干维变化带来的函数值变化上界等于对应维度的上界和）：

\[\left|f(x _1,\dotsb, x _i, \dotsb, x _m)-f(x _1,\dotsb, x' _i, \dotsb, x _m)\right|\le c _i \]

则 \(f(S)\) 的值以很大概率满足其与期望值足够接近：

\[\begin{aligned} \Pr[f(S)-\mathbb{E}[f(S)]\ge\epsilon]\le \exp\left(\frac{-2 \epsilon ^2}{\sum _{i=1} ^m c _i ^2}\right) \\ \Pr[f(S)-\mathbb{E}[f(S)]\le-\epsilon]\le \exp\left(\frac{-2 \epsilon ^2}{\sum _{i=1} ^m c _i ^2}\right) \end{aligned} \]

引理 Massart's lemma
有限集合 \(\cal A\sube \mathbb{R} ^m\)，其元素的 2-范数上界为 \(r=\max _{\bf x\in \cal A}\Vert\bf x\Vert _2\)，那么有定理

\[\mathbb{E} _{\boldsymbol{\sigma}}\left[\frac{1}{m}\sup _{\bf x\in \cal A}\sum _{i=1} ^m\sigma _i x _i \right]\le\frac{r\sqrt{2\log |{\cal A}|}}{m} \]