统计学习（第二章感知机）

感知机（perceptron）是二分类的线性分类模型，其输入是实例的特征向量，输出是实例的类别，取+1和-1值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机预测是学习得到的感知机模型对新的输入实例进行分类。感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式；

（一）   感知机模型：

定义(感知机):

 

（二）   感知机学习策略

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面，为了找出这样的超平面，即确定感知机模型参数w,b需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化。

 

||w||是w的L2范数。

 

（三）   感知机学习算法

感知机学习问题转化为求解损失函数式的最优化问题，最优化的方法是随机梯度下降法。

感知机学习算法是误分类驱动的，具体采用随机梯度下降法，首先，任意选取一个超平面w0,b0，然后用梯度下降法不断地极小化目标函数，极小化过程中不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。

 

其中，

 

 

直观解释：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整w,b值使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。

 

 

 

 

 参考：李航教材+PPT