统计学习方法学习笔记-02-感知机

首先介绍感知机模型，然后叙述感知机的学习策略，特别是损失函数，最后介绍感知机学习算法，包括原始模式和对偶模式，并证明算法的收敛性

感知机模型

输入空间(特征空间)：\(\mathcal{X} \subseteq R^n\)，假设\(x \in \mathcal{X}\)
输出空间：\(\mathcal{Y} = \{+1,-1\}\)，假设\(y \in \mathcal{Y}\)
由输入空间到输出空间的如下函数称为感知机：

\[f(x) = sign(\omega \cdot x + b) \]

其中\(\omega \in R^n\)叫做权值，\(b \in R\)叫做偏置，\(\omega \cdot x\)表示内积，sign表示符号函数：

\[sign(x) = \begin{cases} +1 & x\geq 0 \\ -1 & x \lt 0 \end{cases} \]

• 感知机是一种线性分类模型，属于判别模型，对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面。
• 感知机模型的假设空间时定义在特征空间中的所有线性分类函数或线性分类器，即函数集合\(f|f(x) = \omega \cdot x + b\)

感知机学习策略

目标：确定模型参数\(\omega,b\)
损失函数：误分类点到超平面\(S\)的总距离

\[\frac{1}{||\omega||}|\omega \cdot x_i + b| \]

\(||\omega||\)是指\(\omega\)的\(L_2\)范数
又因为误分类点有如下定义：

\[-y_i(\omega \cdot x_i + b) \gt 0 \]

所以误分类点到超平面的距离为：

\[-\frac{1}{||\omega||}y_i(\omega \cdot x_i + b) \]

假设误分类点集合\(M\)，那么所有误分类点到超平面的总距离为：

\[-\frac{1}{||\omega||}\sum_{x_i \in M}y_i(\omega \cdot x_i + b) \]

得到损失函数：

\[L(\omega,b) = -\sum_{x_i \in M}y_i(\omega \cdot x_i + b) \]

感知机学习算法

感知机学习问题转化为求解损失函数式的最优化问题，最优化的方法是随机梯度下降法

感知机学习算法的原始形式

输入：训练数据集\(T = \{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}\)，其中\(x_i \in \mathcal{X} = R^n,y_i \in \mathcal{Y} = \{-1,+1\},i=1,2,\cdots,N\)；学习率\(\eta(0 \lt \eta \leq 1)\)
输出：\(\omega,b\)；感知机模型\(f(x) = sign(\omega \cdot x + b)\)

1. 选取初值\(\omega_0,b_0\)；
2. 在训练集中选取数据\((x_i,y_i)\)；
3. 如果\(y_i(\omega \cdot x_i + b) \leq 0\):

\[\omega \leftarrow \omega + \eta y_ix_i \\ b \leftarrow b + \eta y_i \]

4. 转至第二步，直到没有误分类点

算法的收敛性

收敛性证明：误分类的次数\(k\)是有上界的，经过有限次搜索可以找到将训练数据完全正确分开的超平面
假设\(\hat{\omega} = (\omega^T,b)^T,\hat{x} = (x^T,1)^T,\hat{\omega} \in R^{n + 1},\hat{x} \in R^{n + 1}\)，则\(\hat{\omega} \cdot \hat{x} = \omega \cdot x + b\)
定理：

• 存在满足条件\(||\hat{\omega}_{opt}|| = 1\)的超平面\(\hat{\omega} _{opt}\cdot \hat{x} = \omega_{opt} \cdot x + b_{opt} = 0\)将训练数据集完全正确分开；且存在\(\gamma \gt 0\)对所有\(i = 1,2,\cdots,N\)

\[y_i(\hat{\omega} _{opt}\cdot \hat{x_i}) =y_i(\omega_{opt} \cdot x_i + b_{opt}) \geq \gamma \]

• 令\(R = \mathop{max}\limits_{1 \leq i \leq N}||\hat{x}_i||\)，则感知机算法在训练数据集上的误分类次数\(k\)满足不等式：

\[k \leq \left( \frac{R}{\gamma} \right)^2 \]

证明：

• 由于训练数据集是线性可分的，所以存在超平面可将训练数据集完全正确分开，取此超平面为\(\hat{\omega} _{opt}\cdot \hat{x} = \omega_{opt} \cdot x + b_{opt} = 0\)，使\(||\hat{\omega}_{opt}|| = 1\)，由于对有限的\(i = 1,2,\cdots,N\)，均有

\[y_i(\hat{\omega} _{opt}\cdot \hat{x_i}) =y_i(\omega_{opt} \cdot x_i + b_{opt}) \gt 0 \]

所以存在

\[\gamma = \mathop{min}\limits_{i}\{y_i(\omega_{opt} \cdot x_i + b_{opt})\} \]

使

\[y_i(\hat{\omega} _{opt}\cdot \hat{x_i}) =y_i(\omega_{opt} \cdot x_i + b_{opt}) \geq \gamma \]

• 感知机算法从\(\hat{\omega}_0 = 0\)开始，如果实例被误分类，则更新权重，令\(\hat{\omega}_{k-1}\)是第\(k\)个误分类实例之前的扩充权重向量，即：

\[\hat{\omega}_{k-1} = (\omega_{k-1}^T,b_{k-1})^T \]

则第\(k\)个误分类实例的条件是：

\[y_i(\hat{\omega}_{k-1} \cdot \hat{x}_i) = y_i(\omega_{k-1} \cdot x_i + b_{k - 1}) \leq 0 \]

若\((x_i,y_i)\)是被\(\hat{\omega}_{k-1} = (\omega_{k-1}^T,b_{k-1})^T\)误分类的数据，则\(\omega\)和\(b\)的更新是：

\[\omega_k \leftarrow \omega_{k-1} + \eta y_ix_i \\ b_k \leftarrow b_{k-1} + \eta y_i \]

即：

\[\hat{\omega}_k = \hat{\omega}_{k-1} + \eta y_i \hat{x}_i \]

递推1：

\[\begin{aligned} \hat{\omega}_k \cdot \hat{\omega}_{opt} &= \hat{\omega}_{k-1} \cdot \hat{\omega}_{opt} + \eta y_i \hat{\omega}_{opt} \cdot \hat{x}_i \\ &\geq \hat{\omega}_{k-1} \cdot \hat{\omega}_{opt} + \eta\gamma \\ &\geq \hat{\omega}_{k-2} \cdot \hat{\omega}_{opt} + 2\eta\gamma \\ &\geq \cdots \\ &\geq k\eta\gamma \end{aligned} \]

递推2：

\[\begin{aligned} ||\hat{\omega}_k||^2 &= ||\hat{\omega}_{k-1}||^2 + 2\eta y_i\hat{\omega}_{k-1} \cdot \hat{x}_i + \eta^2||\hat{x}_i||^2 \\ &\leq ||\hat{\omega}_{k-1}||^2 + \eta^2||\hat{x}_i||^2 \\ &\leq ||\hat{\omega}_{k-1}||^2 + \eta^2R^2 \\ &\leq ||\hat{\omega}_{k-2}||^2 + 2\eta^2R^2 \\ &\leq \cdots \\ &\leq k\eta^2 R^2 \end{aligned} \]

结合两个递推式：

\[k\eta\gamma \leq \hat{\omega}_k \cdot \hat{\omega}_{opt} \leq ||\hat{\omega}_k||\ ||\hat{\omega}_{opt}|| \leq \sqrt{k}\eta R \\ k^2\gamma^2 \leq kR^2 \\ k \leq \left( \frac{R}{\gamma} \right)^2 \]

感知机算法的对偶形式

不失一般性，假设\(\omega_0,b_0\)均为0，已知下式

\[\omega \leftarrow \omega + \eta y_ix_i \\ b \leftarrow b + \eta y_i \]

逐步修改\(\omega,b\)，设修改\(n\)次，则\(\omega,b\)关于\((x_i,y_i)\)的增量分别是\(\alpha_iy_ix_i,\alpha_iy_i\)，这里\(\alpha_i = n_i\eta\)，可以得到：

\[\omega = \sum_{i = 1}^N\alpha_iy_ix_i \\ b = \sum_{i = 1}^N\alpha_iy_i \]

输入：训练数据集\(T = \{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}\)，其中\(x_i \in \mathcal{X} = R^n,y_i \in \mathcal{Y} = \{-1,+1\},i=1,2,\cdots,N\)；学习率\(\eta(0 \lt \eta \leq 1)\)
输出：\(\alpha,b\)
感知机模型：

\[f(x) = sign\left(\sum_{j = 1}^N\alpha_jy_jx_j \cdot x + b \right),\alpha = (\alpha_1,\alpha_2,\cdots,\alpha_N)^T \]

• \(\alpha \leftarrow 0,b \leftarrow 0\);
• 在训练集中选取数据\((x_i,y_i)\)
• 如果\(y_i\left(\sum_{j = 1}^N\alpha_jy_jx_j \cdot x_i + b \right) \leq 0\)，则：

\[\alpha_i \leftarrow \alpha_i + \eta \\ b \leftarrow b + \eta y_i \]

• 转至第二步直到没有误分类数据

注：在计算的过程中训练实例以内积的形式出现，可以预先计算储存下来，这个矩阵叫做Gram矩阵，\(G = [x_i \cdot x_j]_{N \times N}\)