统计学习方法——感知机

感知机基本理论

1. 感知机是监督学习的一种方法，是一种二分类的线性模型

2. 感知机的输入是实例的特征向量，输出为+1或-1两个值

3. 感知机属于判别模型

感知机模型

感知机定义

​ 假设输入空间为\(X \subseteq R^n\), 输出空间是\(Y = \{+1,-1\}\), \(x \in X\)是输入的特征向量, 对应于特征空间的点，\(y \in Y\)是实例的类别. 则由输入空间到输出空间存在

如下函数：

\[f(x) = sing(w \cdot x+b)\tag{1} \]

这个函数则成为感知机. 其中\(w\)和\(b\)称为感知机模型参数，\(w\)为权值（weight），\(b\)为偏置量（bias），\(w \cdot x\)表示内积，sign为函数，表示：

\[sign(x) = \begin{cases} +1, & x \geq 0 \\ -1, & x < 0 \end{cases}\tag{2} \]

感知机的假设空间

感知机的假设空间为定义在特征空间中的所有的线性分类模型，即\(\{f | f(x) = w \cdot x + b\}\)

感知机的几何解释

线性方程

\[w \cdot x + b = 0\tag{3} \]

对应于特征空间\(R^n\)的一个超平面S, S把特征空间分为两部分，位于两部分的点分别被分为正、负两类.

感知机学习策略

数据集的线性可分性

对于一个数据集T，如果存在一个超平面S，能将T中的所有正实例与负实例完全正确的划分到S两侧，则说明数据集T是线性可分的。

感知机学习策略

1. 感知机学习的目标是找出超平面，即确定\(w,b\)将数据集中的正实例和负实例完全分开. 需要确定一个学习策略，即定义损失函数并将损失函数极小化.

2. 感知机的损失函数定义为误分类的点到超平面S的总距离，为此，输入空间\(R^n\)中的点\(x_0\), 到超平面s的距离为：

\[\frac{1}{||w||}|w \cdot x_0 + b| \]

​ \(||w||\)为\(L_2\)范数.

3. 未分类的点\((x_i,y_i)\)到超平面S的距离恒为正值，且可以用以下公式表示：
   \[-\frac{1}{||w||}y_i(w\cdot x_i + b) \]
   原因：当\((x_i,y_i)\)为正样本时，y的真实值为+1，但由于被误分类，所以\(w\cdot x_i + b\)的值为负数，此时上式为正数且刚好为到超平面的距离；当\((x_i,y_i)\)为负样本时，y的真实值为-1，但由于被误分类，所以\(w\cdot x_i + b\)的值为正数，此时上式也为正数且刚好为到超平面的距离。