线性单元和梯度下降

 

当面对的数据集不是线性可分的时候，『感知器规则』可能无法收敛，这意味着我们永远也无法完成一个感知器的训练。

为了解决这个问题，我们使用一个可导的线性函数来替代感知器的阶跃函数，这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集时，会收敛到一个最佳的近似上。

线性单元将返回一个实数值而不是0,1分类。因此线性单元用来解决回归问题而不是分类问题。

线性单元的模型

• 输入x是一个向量，，x_{i就是一个值}
• y 是输出的实数

 长成这种样子模型就叫做线性模型，输出就是输入特征的线性组合。

线性单元目标函数

只考虑监督学习。

单个样本的误差：

 

所有样本的总误差：

　　　　　

其中

 

目标函数：

 

梯度下降

梯度是一个向量，它指向函数值上升最快的方向。显然，梯度的反方向当然就是函数值下降最快的方向了。

梯度下降算法的公式：

则根据目标函数得到梯度下降公式：

梯度推导：

数学知识：

推导：