机器学习（二）：感知机学习算法

感知机是一种线性分类模型，属于判别模型

　　f(x)  = sign(wx+b) ;  f(x)∈{+1,-1};

其中M为错分类点的集合M。

感知机学习算法是误分类驱动的，采用随机梯度下降法进行参数更新。

w<-----w + γy_ix_i

b<-----b + γy_i

γ为学习率，反复迭代直到所有样本均分类正确。

 

总结：

输入：训练数据集T={(x₁,y₁),(x₂,y₂).....(x_n,y_n)},学习率γ∈[0,1]

输出：w，b 感知模型f(x) = sign(wx+b)

(1)选取初值 w₀,b₀

(2)训练集中选取数据(x_i,y_i);

(3)如果y_i(wx_i+b)<=0

　　w = w + γy_ix_i

　　b = b + γy_i

(4)转至(2),直到训练集中没有误分类点。

算法是收敛的，易于理解与实现。但是对于只能处理线性可分情况。