花书学习Day 2：多层感知机

在之前的学习中，使用了仿射变换结合softmax函数实现了对FashionMNIST数据集进行简单的分类，但是，仿射变换的假设是线性，即当权重为正时，任何特征的增大会导致输出的增大，当权重为负时，任何特征的减小会导致输出的减小，这显然是有很大的局限的，单个像素值的强度并不能描述类别，且大多数现实情况下，模型并不是线性的，不能用线性的函数来拟合。

对于上述问题，可以使用一个或多个隐藏层来突破线性模型的限制，使其能处理更复杂的函数关系，架构如下所示：

这种架构通常被称为多层感知机（MLP）。

由于线性函数的线性函数仍然是线性函数，因此引入了非线性的激活函数，其中之一是ReLU函数（线性修正单元），为


ReLU函数优点在于求导简单，优化表现好，缓解了神经网络梯度消失的问题。

接下来介绍Sigmoid函数，sigmoid函数能将输入变换到区间（0，1）之间，可以用于二分类问题。sigmoid函数定义为：


sigmoid函数的导数为：


接下来介绍tanh函数，tanh同样能将输入转换到（-1，1）上，tanh函数表示为：

tanh的导数为：