【笔记】机器学习基础 - Ch2. PAC Learning Framework

🤔还在慢慢熟悉这种思维方式，希望没有理解错误🙏

2.1 PAC learning model

服从某个分布 \(\cal D\) 抽取样本 \(x\in \cal X\)；称一个映射 \(c:\cal X\to Y\) 为概念 concept，称概念的集合 \(\cal C\) 为概念类 concept class。考虑这个概念类 \(\cal C\) 的“可学习性”。
现对于一个固定、未知的待学习目标概念 \(c\in \cal C\)，我们有一个假设概念 \(h\) 的集合 hypothesis set \(\cal H\) 以供选择（\(\cal H,C\) 不一定有交 coincide）。以 i.i.d. 抽取样本 \(S=(x _1,\dotsb, x _m)\) 同时得到标签 \((c(x _1),\dotsb, c(x _m))\)，据此以某种算法选择 \(h _S\in \cal H\)，并用泛化误差 generalization error 刻画 \(h _S\) 相对 \(c\) 的差距：

定义 泛化误差 generalization error
假设概念 \(h\in \cal H\) 相对目标概念 \(c\in \cal C\) 的泛化误差 \(R(h)\)，为在给定分布 \(\cal D\) 以 i.i.d. 采样下两者映射结果不相等的概率（错误概率）：

\[R(h)={\mathbb P} _{x\sim \cal D}[h(x)\ne c(x)]={\mathbb E} _{x\sim \cal D}[1 _{h(x)\ne c(x)}] \]

但是 \(\cal D, c\) 都是未知的。我们考虑对 \(h\) 计算经验误差 empirical error \(\widehat{R} _S(h)\)：

定义 经验误差 empirical error
假设概念 \(h\in \cal H\) 相对目标概念 \(c\in \cal C\) 的经验误差 \(\widehat{R} _S(h)\)，为在给定的样本 \(S=(x _1,\dotsb, x _m)\) 下两者映射结果不相等的频率：

\[\widehat{R} _S(h)=\frac{1}{m}\sum _{i=1}^{m} 1 _{h (x _i)\ne c(x _i)} \]

可以证明，经验误差 \(\widehat{R} _S(h)\) 当样本在分布 \(\cal D\) 以 i.i.d. 采样下的期望，等于泛化误差 \(R(h)\)：

\[{\mathbb{E}} _{S\sim \cal D ^m}[\widehat{R} _S(h)]=R(h) \]

回到概念类 \(\cal C\) 的“可学习性”。
设表示 \(\cal X\) 任一元素的计算开销是 \(O(n)\)，表示 \(\cal C\) 任一元素的计算开销是 \(\text{size}(c)\)。对于已知的 \(\cal C\)，设计某个算法 \(\cal A\)：从 \(\cal D\) 中以 i.i.d. 采样带标签样本集 \(S\)，算法 \(\cal A\) 接受 \(S\) 并返回 \(h _S\)。
接下来定义 PAC (Probably Approximately Correct) 学习：

定义 PAC 学习 PAC-learning
称概念集合 concept class \(\cal C\) 是 PAC-learnable，若存在一个算法 \(\cal A\) 和一个多项式函数 \(poly(\cdot,\cdot,\cdot,\cdot)\)，使得 \(\forall \epsilon>0, \delta>0, \cal{D}, c\in \cal{C}\)，只要满足 \(m\ge poly(1/\epsilon, 1/\delta, n, \text{size}(c))\)，就有：

\[\mathbb{P} _{S\sim\cal D ^m}[R(h _S)\le\epsilon]\ge 1-\delta \]

即，只要样本容量 \(m\) 足够大，其喂给算法 \(\cal A\) 得到的 \(h _S\) 就能以至少 \(1-\delta\) 的概率、达到最多只有 \(\epsilon\) 的泛化误差（错误概率），因此称为 probably approximately correct。值得一提的是我们并没有对 \(\cal D\) 做出特别假设。此外若 \(n, \text{size}(c)\) 不需要特别讨论，比如常数，我们可以忽略之。
显然该式等价于 \(\mathbb{P} _{S\sim\cal D ^m}[R(h _S)>\epsilon]\le \delta\)。
有些时候，我们还可以用“泛化界” generalization bound 来等价地表达这种关系，若 \(m\ge poly(1/\epsilon, 1/\delta,\dotsb)\) 可以解得 \(\epsilon\ge poly'(1/m, 1/\delta,\dotsb)\)，结合 \(\mathbb{P} _{S\sim\cal D ^m}[R(h _S)>\epsilon]\le \delta\) 可以阐述为：
对于任意 \(\epsilon,\delta>0\)，以至少 \(1-\delta\) 的概率，会有 \(R(h _S)\le poly'(1/m, 1/\delta,\dotsb)\)
可见我们以一个上界限制住了 \(h _S\) 的泛化误差。观察该式，往往会发现当 \(m\) 变大，上界随之下降，这符合我们的认知。

例题 Leaning axis-aligned rectangles
二维平面上采样 \(\cal X=\mathbb{R} ^2\)，概念类 \(\cal C\) 是平面上所有边平行于坐标轴的矩形，概念 \(c\) 将矩形内部的点都映射为正，其余为负，或者等价认为概念 \(c\) 就是该矩形内的点集。接下来证明 \(\cal C\) 是 PAC-learnable 的。
记目标概念为 \(\rm R\in \cal C\)，记采样点落在 \(\rm R\) 内的概率为 \(\mathbb{P}[\rm R]\)。设计算法 \(\cal A\) 为，对于给定样本集 \(S\)，\({\rm R} _S\) 为包含且只包含所有正例的最小矩形，显然 \({\rm R} _S\) 包含在 \(\rm R\) 内，则泛化误差 \(R({\rm R} _S)\) 即采样点落在 \(\rm R\) 内、但是不在 \({\rm R} _S\) 内的概率。固定 \(\epsilon>0\)，不妨假设 \(\mathbb{P}[\rm R]>\epsilon\)（否则 \(R({\rm R} _S)\le \mathbb{P}[\rm R]\le \epsilon\) 就没意义了）。
接下来，以 \(\rm R\) 的四条边向内做四个子矩形 \(r _i,i\in [4]\)，且满足 \(\mathbb{P}[r _i]= \epsilon/4\)。显然若 \({\rm R} _S\) 与四个子矩形都有交，则 \(R({\rm R} _S)\le \mathbb{P}[\cup _i r _i]\le \sum _i \mathbb{P}[r _i]=\epsilon\)；于是其逆否命题成立：若 \(R({\rm R} _S)>\epsilon\)，则 \({\rm R} _S\) 至少与一个子矩形无交，用概率刻画事件关系😲：

\[\begin{aligned} \underset{S\sim \mathcal{D}^m}{\mathbb{P}}\left[ {R}[{\rm R} _S]>\epsilon \right] &\leq \underset{S\sim \mathcal{D}^m}{\mathbb{P}}\left[ \bigcup_{i=1}^4{\left\{ {\rm R} _S\cap r _i=\emptyset \right\}} \right] &; A\rArr B, A\sube B, P(A)\le P(B)\\ &\leq \sum _{i=1} ^4{\underset{S\sim \mathcal{D}^m}{\mathbb{P}}\left[ \left\{ {\rm R} _S\cap r _i=\emptyset \right\} \right]}&; \text{union bound}\\ &\leq 4\left( 1-\epsilon /4 \right) ^m &;P(\text{draw a point at least not in $r _i$})\le 1-\epsilon /4\\ &\leq 4\exp \left( -m\epsilon /4 \right)&;1-x\le e ^{-x} \end{aligned} \]

令 \(\mathbb{P} _{S\sim \mathcal{D}^m}[{R}[{\rm R} _S]>\epsilon]\leq 4\exp \left( -m\epsilon /4 \right)\le \delta\)，解得 \(m\ge\frac{4}{\epsilon}\ln \frac{4}{\delta}\)，故得证。
另外还可以用泛化界表达：结合该式和 \(\epsilon\ge \frac{4}{m}\ln \frac{4}{\delta}\)，可阐述为：以至少 \(1-\delta\) 的概率，会有 \({R}[{\rm R} _S]\le \frac{4}{m}\ln \frac{4}{\delta}\)

2.2 Guarantees for finite hypothesis sets - consistent case

称假设 \(h _S\) 对带标签样本 \(S\) 是一致的 consistent，若其在 \(S\) 上的经验误差为零。下文中，我们为对任意 \(S\) 总能从有限假设集合 \(\cal H\) 中找到一致假设 \(h _S\) 的情形（称之为一致情况 consistent case），提出一个一般的样本容量下界。此外，我们还假定 \(c\in \cal H\)（或许有些情况下 \(\forall c\in \cal C, c \notin\cal H\) 也能存在一致假设，但是还不如就假定 \(c\in \cal H\)）。

定理 Learning bound - finite \(\cal H\), consistent case
\(\cal H\) 是映射 \(\cal X\to Y\) 的有限集合，若算法 \(\cal A\) 对于任意目标概念 \(c\in \cal H\)，总能根据以 i.i.d. 获得的 \(S\) 返回一个一致假设 consistent hypothesis \(h _S: \widehat{R} _S(h _S)=0\)，那就是 PAC-learnable 的：\(\forall \epsilon, \delta>0, \mathbb{P} _{S\sim\cal D ^m}[R(h _S)\le\epsilon]\ge 1-\delta\) 成立，若：

\[m\ge \frac{1}{\epsilon}(\log |{\cal H}|+\log \frac{1}{\delta}) \]

也可以用泛化界表达：\(\forall \epsilon, \delta>0\)，以至少 \(1-\delta\) 的概率，有：

\[R(h _S)\le \frac{1}{m}(\log |{\cal H}|+\log\frac{1}{\delta}) \]

证明如下，定义 \(\mathcal{H}_{\epsilon}=\left\{ h\in \mathcal{H}:R(h) >\epsilon \right\}\)，则 \(h\in \mathcal{H}_{\epsilon}\) 为一致假设、即采样点均不出错的概率 \(\le(1-\epsilon) ^m\)；且事件 “\({\cal H} _\epsilon\) 存在一致假设” 的概率为：

\[\begin{aligned} \mathbb{P}\left[\exists h \in \mathcal{H}_{\epsilon}: \widehat{R}_{S}(h)=0\right] &=\mathbb{P}\left[\bigcup _{h \in \mathcal{H}_{\epsilon}}\left\{\widehat{R}_{S}\left(h\right)=0\right\}\right] \\ & \leq \sum_{h \in \mathcal{H}_{\epsilon}} \mathbb{P}\left[\widehat{R}_{S}(h)=0\right] \\ & \leq \sum_{h \in \mathcal{H}_{\epsilon}}(1-\epsilon)^{m} \leq|\mathcal{H}|(1-\epsilon)^{m} \leq|\mathcal{H}| e^{-m \epsilon} \end{aligned} \]

现在对于根据 \(S\) 学到的一致假设 \(h _S\)，若有 \(h _S\in \mathcal{H}_{\epsilon}\)，则事件 “\({\cal H} _\epsilon\) 存在一致假设” 成立，还是用概率刻画：\(\mathbb{P}[ h_S\in \mathcal{H}_{\epsilon}]=\mathbb{P} _{S\sim\cal D ^m}[R(h _S)>\epsilon] \le \mathbb{P}[ \exists h\in \mathcal{H}_{\epsilon}:\widehat{R}_S(h)=0 ] \le |\mathcal{H}|e^{-m\epsilon}\le \delta\)，解不等式得证。

例题 Conjunction of Boolean literals
直接代入定理即可。

2.3 Guarantees for finite hypothesis sets - inconsistent case

大多数情况下，对于样本集 \(S\) 从 \(\cal H\) 里找不到一致假设，下面就有限假设集合、不一致情况给出保证。

定理 Hoeffding's inequality
\(X _1, \dotsb, X _m\) 为独立随机变量，\(X _i \in [a _i, b _i]\)；记 \(S _m=\sum _{i=1}^m X _i\)。对任意 \(\epsilon>0\)，下述不等式成立：

\[\begin{aligned} \mathbb{P}[S _m-\mathbb{E}[S _m]\ge\epsilon]&\le \exp(-2\epsilon ^2 / \Sigma _{i=1} ^m (b _i-a _i)^2) \\ \mathbb{P}[S _m-\mathbb{E}[S _m]\le-\epsilon]&\le \exp(-2\epsilon ^2 / \Sigma _{i=1} ^m (b _i-a _i)^2) \\ \implies\mathbb{P}[\big|S _m-\mathbb{E}[S _m]\big|\ge \epsilon]&\le 2\exp(-2\epsilon ^2 / \Sigma _{i=1} ^m (b _i-a _i)^2) \end{aligned} \]

根据此定理，对于 \(h:X\to \{0,1\}\) 的情形，令上述 \(X _i=1_{h(x _i)=c(x _i)}/m\in [0, 1/m]\)，有 \(S _m=\widehat{R} _S(h), \mathbb{E}[S _m]= R(h)\)，得：

推论 固定 \(\epsilon>0\)，对任意假设 \(h:X\to \{0, 1\}\)，有：

\[\mathbb{P} _{S\sim \cal D ^m}[\big|\widehat{R} _S(h)-R(h)\big|\ge \epsilon]\le 2\exp(-2m\epsilon ^2) \]

令等式右边等于 \(\delta\)，得到对单独一个假设的界：
推论 固定 \(h:X\to \{0,1\}\)，对任意 \(\delta>0\)，以至少 \(1-\delta\) 的概率，有：

\[R(h)\le \widehat{R} _S(h) + \sqrt{\frac{\log \frac{2}{\delta}}{2m}} \]

应当指出，这个推论是以固定 \(h\) 为前提的（定理 “经验误差的期望等于泛化误差” 亦是如此）；然而在实际应用中我们手头的 \(h _S\) 是一个随 \(S\) 而变化的随机变量，当我们倒回去查看推导时，会发现对于 \(S _m=\widehat{R} _S(h _S)\)，\(\mathbb{E}[S _m]\) 通常不等于 \(R(h _S)\)，因为前者依然是一个常数，后者是一个随机变量。
因此我们要做的是为整个假设集合 \(\cal H\) 给出一个保证：

定理 Learning bound - finite \(\cal H\), inconsistent case
有限假设集合 \(\cal H\)。对任意 \(\delta>0\)，以至少 \(1-\delta\) 的概率，有：

\[\forall h\in {\cal H},\quad R(h)\le \widehat{R} _S(h) + \sqrt{\frac{\log |{\cal H}|+\log \frac{2}{\delta}}{2m}} \]

证明：记 \({\cal H}=\{h _1, \dotsb, h _{|\cal H|}\}\)，有：

\[\begin{aligned} \mathbb{P}\left[\exists h\in {\cal H}:\big|\widehat{R} _S(h)-R(h) \big|> \epsilon\right] = &\mathbb{P}\left[\bigcup _{h\in\cal H}\left\{\big|\widehat{R} _S(h)-R(h)\big|>\epsilon\right\}\right]\\ \le &\sum _{h\in {\cal H}}\left[\big|\widehat{R} _S(h)-R(h) \big|> \epsilon\right]\\ \le& 2|{\cal H}|\exp(-2m\epsilon^2)&;\text{代入推论} \end{aligned} \]

引入 \(\delta\) 得证。

考察 \(m, |{\cal H}|\)，相比一致情况为一致假设 \(h _S\) 找到的泛化界 \(R(h _S)\le O(\frac{\log|{\cal H}|}{m})\)，非一致情况下为 \(\cal H\) 里的任一假设 \(h\) 找到的泛化界（两者都以 \(1-\delta\) 的概率）：

\[R(h)\le \widehat{R} _S(h) + O\left(\sqrt{\frac{\log|{\cal H}|}{m}}\right) \]

差不多可以看出泛化界的一般形式了，无非就是 \(R(h)\le \widehat{R} _S(h) +\epsilon\)，\(\epsilon\) 被我们解出来关于 \((1/m, 1/\delta,\log|\cal H|,\dotsb)\) 的函数，而一致情况的经验误差为零；\(\log|\cal H|\) 可理解为表示 \(\cal H\) 需要的比特量，对应 \(\text{size}(c)\) 概念。
对于非一致情况，\(m\uparrow\) 带来的压低上界被打了个开方的折扣，也就是需要平方倍数的提升才能达到和一致情况一样的效果。另外，从该式中也可以看到一个关于 \(\widehat{R} _S(h)\) 和 \(|{\cal H}|\) 的 trade-off：增大假设集合的大小，可能可以减小经验误差，但是会受到后者的惩罚。对于经验误差基本没差别的情况，我们倾向于减小假设集合的大小。这可以视作 Occam's Razor principle 的一个例子。

2.4 Generalities

关于确定情景和随机情景 Deterministic versus stochastic scenarios
上文中以及大多时候我们只考虑标签是通过某个确定映射 \(\cal X\to Y\) 得到的，称为确定情景 deterministic scenario。但是实际情况中往往 \(y\) 也服从一个分布，称之为随机情景 stochastic scenario。
形式化地说，将 \(\cal D\) 定义在 \(\cal X\times Y\) 上，对于从 \(\cal D\) 以 i.i.d. 抽取的样本 \(S=((x _1, y _1), \dotsb, (x _m, y _m))\)，定义泛化误差为

\[R(h)={\mathbb P} _{(x,y)\sim \cal D}[h(x)\ne y]={\mathbb E} _{(x,y)\sim \cal D}[1 _{h(x)\ne y}] \]

随机情景下，我们提出 “不可知 PAC 学习”（Agnostic PAC-learning）概念（看起来它继承了上面总结的泛化界一般形式）

定义 Agnostic PAC-learning
假设集合 \(\cal H\)；称 \(\cal A\) 为 PAC 学习算法，若存在一个多项式函数 \(poly(\cdot,\cdot,\cdot,\cdot)\)，使得任意 \(\epsilon>0, \delta>0\)，任意 \(\cal X\times Y\) 上的 \(\cal{D}\)，只要满足 \(m\ge poly(1/\epsilon, 1/\delta, n, \text{size}(c))\)，就有：

\[\mathbb{P} _{S\sim\cal D ^m}[R(h _S)\le\min _{h\in {\cal H}}R(h)+\epsilon]\ge 1-\delta \]

贝叶斯误差和噪声 Bayes error and noise
对于确定情景，那个目标概念就可以使 \(R(h)=0\)；而对于随机情景我们用所有可能情况的最小值来定义：

定义 Bayes error
对于 \(\cal X\times Y\) 上的分布 \(\cal D\)，称其贝叶斯误差 \(R ^*\) 为由可测函数类 \(h:\cal X\to Y\) 产生的误差下界：\(R ^*=\inf _{h\ mearsurable} R(h)\)

一般来说对于随机情景有 \(R ^*\ne 0\)
称满足 \(R(h)=R ^*\) 的假设 \(h _\text{Bayes}\) 为贝叶斯假设或贝叶斯分类器。当然，以二分类为例，它也可以定义为：\(\forall x,h _\text{Bayes}(x)=\arg \max _{y\in \{0,1\}}\mathbb{P}[y|x]\)；对应地，其错误概率、也是所有假设的最小错误概率为 \(\min\{\mathbb{P}[0|x],\mathbb{P}[1|x]\}\)，据此定义贝叶斯噪声：

定义 Bayes noise
对于 \(\cal X\times Y\) 上的分布 \(\cal D\)，称其在 \(x\in \cal X\) 上的贝叶斯噪声为 \(noise(x)=\min\{\mathbb{P}[0|x],\mathbb{P}[1|x]\}\)；而 \(\cal D\) 上的 \(\text{noise}\) 定义为 \(\mathbb{E}[noise(x)]\)。

显然 \(\text{noise}=\mathbb{E}[noise(x)]=R ^*\)，这个量刻画了学习的难度。

Exercises

Two-Oracle Variant of PAC model
题解应该有不少有待斟酌的地方；其实现在也不确定有没有理解对题目，当然答案根据自己的理解也稍有改动，不保证正确。
考虑二分类问题。标准 PAC 模型认为 \(\cal X\) 采样自分布 \(\cal D\) 并通过某个映射 \(c:\cal X\to \{0,1\}\)。引入其 two-oracle 变种：认为所有正例均采样自 \(\cal D _+\)，负例采样自 \(\cal D _-\)；假设两者概率分别为 \(p, 1-p\)（至少我是这么理解的）；定义对应的 PAC 算法为以至少 \(1-\delta\) 的概率，返回的假设 \(h\) 同时满足 \(\Pr _{x\sim \cal D _+}[h(x)\ne 1]\le \epsilon, \Pr _{x\sim \cal D _-}[h(x)\ne 0]\le \epsilon\)。下文记 \(error _{\cal D}(h)=\Pr _{x\sim \cal D}[h(x)\ne c(x)]\)
试证明，对于概念类 \(\cal C\) 和假设集 \(\cal H\)，\(\cal C\) 对于 \(\cal H\) 在标准 PAC 模型是 efficiently PAC-learnable 的，当且仅当 \(\cal C\) 对于 \(\cal H\cup\{h _0, h _1\}\) 在 two-oracle 模型是 efficiently PAC-learnable 的。其中 \(h _{0/1}\) 表示恒映射到 0/1 的函数。

证明：
必要性，前者成立，取分布 \({\cal D=pD _+ }+(1-p)\cal D _-\)，不妨假设 \(p\le 1-p\)，选取 \(\delta\) 使得 \(\Pr[error _{\cal D}(h)\le p\epsilon]\ge 1-\delta\)，于是以至少 \(1-\delta\) 的概率，有泛化误差 \(error _{\cal D}(h)=p\cdot error _{{\cal D} _+}(h)+(1-p)\cdot error _{{\cal D} _-}(h)\le p\epsilon\)，于是 \(error _{{\cal D} _+}(h)\le \epsilon, error _{{\cal D} _-}(h)\le \epsilon\) 均成立；
充分性，后者成立，按题目的意思是当 \(m\) “足够大” 时：在两个分布各自抽取的样本量分别应大等于 \(m _+, m _-\)，会以至少 \(1-\delta\) 的概率，有 \(error _{{\cal D} _+}(h)\le \epsilon, error _{{\cal D} _-}(h)\le \epsilon\)，那么对于标准模型的分布 \(\cal D=pD _+ +(1-p) D _-\)，有 \(error _{\cal D}=p\cdot error _{{\cal D} _+}(h)+ (1-p)\cdot error _{{\cal D} _-}(h)\le \epsilon(p+1-p)=\epsilon\)，从而成立
那么这个 “足够大” 是多大，才能满足在两个分布各自抽取的样本量都足够多呢？假设 \(S _m\) 等于抽取 \(m\) 个样本时正例（概率 \(p\)）的个数，根据 Chernoff bounds 有 \(\Pr [S_m\le (1-\alpha)mp]\le \exp(-mp\alpha^2/2)\)，为了保证 \(S _m\ge m _+\)，令 \(\alpha=1/2,m=2m _+/p\)，得到 \(\Pr [S _m\le m _+]\le \exp(-m _+/4)\) 并令其小等于 \(\delta/2\)（这么取是为了对负例同理且后续相加），解得 \(m\ge \min\{\frac{2m _+}{p},\frac{8}{\epsilon}\log\frac{2}{\delta}\}\)
于是当 \(m\ge \min\{\frac{2m _+}{p},\frac{2m _-}{p},\frac{8}{\epsilon}\log\frac{2}{\delta}\}\) 时，\(\Pr [\{S _m\le m _+\}\vee \{m-S_m\le m _-\}]\le \Pr [\{S _m\le m _+\}]+\Pr [\{m-S _m\le m _-\}]=\delta\)，即以至少 \(1-\delta\) 的概率使 \(m\) “足够大”，从而又以至少 \(1-\delta\) 的概率使得误差足够小，这么看来概率下界是 \((1-\delta) ^2\) 吗？那好像还是差了点意思，不太懂
至于为什么题目还提供了 \(\{h _0, h _1\}\)：在题解里提到若 \(p<\epsilon\) 或 \(1-p<\epsilon\) 时取常函数就能使得误差小等于 \(\epsilon\)，不过不懂是否有必要考虑这个...