提升方法

文章记录的内容是参加DataWhale的组队学习统计学习方法（第二版）习题解答过程中的笔记与查缺补漏！
参考解答地址： 提升方法。

1. 某公司招聘职员考查身体、业务能力、发展潜力这3项。身体分为合格1、不合格0两级，业务能力和发展潜力分为上1、中2、下3三级。分类为合格1 、不合格-1两类。已知10个人的数据，如下表所示。假设弱分类器为决策树桩。试用AdaBoost算法学习一个强分类器。

应聘人员情况数据表

	1	2	3	4	5	6	7	8	9	10
身体	0	0	1	1	1	0	1	1	1	0
业务	1	3	2	1	2	1	1	1	3	2
潜力	3	1	2	3	3	2	2	1	1	1
分类	-1	-1	-1	-1	-1	-1	1	1	-1	-1

解答：

解答思路：

1. 列出AdaBoost算法；
2. 采用sklearn的AdaBoostClassifier分类器，构建并训练得到强分类器；
3. 自编程实现AdaBoost算法，并训练得到强分类器。

回顾一下 AdaBoost 算法，根据书中第156页算法8.1：

输入：训练数据集\(T=\{(x_1,y_1), (x_2,y_2), \cdots, (x_N,y_N)\}\)，其中\(x_i \in \mathcal{X} \subseteq R^n\)，\(y_i \in \mathcal{Y} = \{-1, +1\}\)；弱学习算法；
输出：最终分类器\(G(x)\)。
（1）初始化训练数据的权值分布

\[D_1 = (w_{11}, \cdots, w_{1i}, \cdots, w_{1N}), \quad w_{1i} = \frac{1}{N}, \quad i = 1, 2, \cdots, N \]

（2）对\(m=1, 2, \cdots, M\)
  （a）使用具有权值分布\(D_m\)的训练数据集学习，得到基本分类器

\[G_m(x):\mathcal{X} \rightarrow \{-1, +1\} \]

  （b）计算\(G_m(x)\)在训练数据集上的分类误差率

\[e_m = \sum_{i=1}^N P(G_m(x_i) \neq y_i) = \sum_{i=1}^N w_{mi}I(G_m(x_i) \neq y_i) \]

  （c）计算\(G_m(x)\)的系数

\[\alpha_m = \frac{1}{2} \log \frac{1 - e_m}{e_m} \]

  这里的对数是自然对数。
  （d）更新训练数据集的权值分布

\[D_{m+1} = (w_{m+1,1}, \cdots, w_{m+1, i}, \cdots, w_{m+1,N}) \\ w_{m+1,i} = \frac{w_{mi}}{Z_m} \exp(-\alpha_m y_i G_m(x_i)), \quad i = 1, 2, \cdots, N \]

  这里，\(Z_m\)是规范化因子

\[Z_m = \sum_{i=1}^N w_{mi} \exp(-\alpha_m y_i G_m(x_i)) \]

  它使\(D_{m+1}\)成为一个概率分布。
（3）构建基本分类器的线性组合

\[f(x) = \sum_{m=1}^M \alpha_m G_m(x) \]

得到最终分类器

\[\begin{aligned} G(x) &= \text{sign}(f(x)) \\ &= \text{sign}\left(\sum_{m=1}^M \alpha_m G_m(x) \right) \end{aligned} \]

观察 \(G_m(x)\) 的系数 \(\alpha_m = \frac{1}{2} \log \frac{1 - e_m}{e_m}\)，注意到 \(\frac{1 - e_m}{e_m}\) 是一个几率，回顾一下几率：

一个事件的几率（odds）是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是 \(p\)，则该事件的几率是 \(\frac{p}{1 - p}\)，该事件的对数几率或 logit 函数是：\(logit(p) = \frac{p}{1 - p}\)

则 \(\frac{1 - e_m}{e_m}\) 表示 \(G_m(x)\) 正确分类这个事件（\(1 - e_m\)）的几率，显然，\(G_m\) 的误差越小，其权重越大，而且当 \(e_m \leq 0\) 时，\(\alpha_m \leq 0\)，注意所有 \(\alpha_m\) 之和并不为1。再考察一下 \(w_{m+1, i}\)：

\[w_{m+1, i} = \begin{cases} \frac{w_{mi}}{Z_m} e^{-\alpha_m} & G_m(x_i) = y_i \\ \frac{w_{mi}}{Z_m} e^{\alpha_m} & G_m(x_i) \neq y_i \end{cases} \]

对比数据集中 \(w_{mi} = w_{mj}\) 的样本，若 \(x_i\) 被正确分类，\(x_j\) 被错误分类，则 \(\frac{ w_{m+1, j} } {w_{m+1, i}} = e^{2 \alpha_m} = \frac{1 - e_m} {e_m}\)，即 \(w_{m+1, j} = \frac{1 - e_m} {e_m} \times w_{m+1, i}\)。如果 \(e_m < \frac{1}{2}\)，则错误分类的样本的权重会扩大，而正确分类的样本的权重则会缩小。其实对于归一化因子 \(Z_m\) 可以写为：

\[\begin{align} Z_m &= \sum_{i=1}^N w_{mi} \exp(-\alpha_m y_i G_m(x_i)) \\ &= \sum_{i=1}^N w_{mi} \exp(-\frac{1}{2} \log \frac{1 - e_m}{e_m} y_i G_m(x_i)) \\ &= \sum_{i \in A} w_{mi} \exp(-\frac{1}{2} \log \frac{1 - e_m}{e_m}) + \sum_{j \in B} w_{mj} \exp(\frac{1}{2} \log \frac{1 - e_m}{e_m}) \\ &= \sum_{i \in A} w_{mi} \sqrt{\frac{e_m}{1 - e_m}} + \sum_{j \in B} w_{mj} \sqrt{\frac{1 - e_m}{e_m}} \end{align} \]

其中 \(A, B\) 分别为正确和错误分类的样本集合，从这个式子中也可以看出，错误分类的样本的权重被扩大了（当 \(e_m < \frac{1}{2}\) ）。当 \(e_m > \frac{1}{2}\) 时，则相反。

具体的过程参考这里。

2. 比较支持向量机、 AdaBoost 、Logistic回归模型的学习策略与算法

解答思路：

1. 列出支持向量机的学习策略与学习算法
2. 列出AdaBoost的学习策略与学习算法
3. 列出Logistic回归模型的学习策略与学习算法
4. 比较三者的学习策略与算法

本节内容来自这里。

支持向量机的学习策略与算法

  根据书中第131页7.2.4节（合页损失函数）

  对于线性支持向量机学习来说，其模型为分离超平面\(w^* \cdot x + b^* = 0\)及决策函数\(f(x)=\text{sign}(w^* \cdot x + b^*)\)，其学习策略为软间隔最大化，学习算法为凸二次规划。
  线性支持向量机学习还有另外一种解释，就是最小化一下目标函数：

\[\sum_{i=1}^N [1 - y_i(w \cdot x_i + b)]_+ + \lambda \|w\|^2 \]

目标函数的第1项是经验损失或经验风险，函数

\[L(y(w \cdot b + x)) = [1 - y_i(w \cdot x_i + b)]_+ \]

被称为合页损失函数，第2项是系数为\(\lambda\)的\(w\)的\(L_2\)范数，是正则化项。

  根据书中第142~143页7.4节（序列最小最优化算法）

  SMO算法是一种启发式算法，其基本思路是：如果所有变量的解都满足此最优化问题的KKT条件，那么这个最优化问题的解就得到了。因为KKT条件是该最优化问题的充分必要条件。
  整个SMO算法包括两个部分：求解两个变量二次规划的解析方法和选择变量的启发式方法。

综上所述：

1. 支持向量机的学习策略：软间隔最大化、最小化由合页损失函数和正则化项组成的目标函数
2. 支持向量机的学习算法：凸二次规划、SMO算法（序列最小最优化算法）

AdaBoost的学习策略与算法

  根据书中第162页8.3节（AdbBoost算法的解释）

  AdaBoost算法还有另一个解释，即可认为AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法时的二类分类学习方法。
  给定训练数据及损失函数\(L(y,f(x))\)的条件下，学习加法模型\(f(x)\)成为经验风险极小化即损失函数极小化问题：

\[\min \limits_{\beta_m ,\gamma_m} \sum_{i=1}^N L \left(y_i, \sum_{m=1}^M \beta_m b(x_i;\gamma_m) \right) \]

  定理8.3 AdaBoost算法是前向分步加法算法的特例。这时，模型是由基本分类器组成的加法模型，损失函数是指数函数。

综上所述：

1. AdaBoost的学习策略：极小化通过加法模型组成的指数损失函数
2. AdaBoost的学习算法：学习加法模型的前向分步算法

Logistic回归模型的学习策略与算法

  根据书中第93页6.1.3节（模型参数估计）

  Logistic回归模型学习时，对于给定的训练数据集\(T=\{(x_1,y_1), (x_2,y_2), \cdots, (x_N,y_N)\}\)，其中\(x_i \in R^n\)，\(y_i \in \{0, 1\}\)，可以应用极大似然估计法估计模型参数，从而得到Logistic回归模型。

  根据书中第103页6.3节（模型学习的最优化算法）

  Logistic回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法。

综上所述：

1. Logistic回归模型的学习策略：极大似然估计法
2. Logistic回归模型的学习算法：改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法

比较支持向量机、 AdaBoost 、Logistic回归模型的学习策略与算法

	学习策略	算法
支持向量机	软间隔最大化、最小化由合页损失函数和正则化项组成的目标函数	凸二次规划、SMO算法（序列最小最优化算法）
AdaBoost	极小化通过加法模型组成的指数损失函数	学习加法模型的前向分步算法
Logistic回归	极大似然估计法	改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法