神经网络

假设训练集由 表示，神经网络可以提供描述此样本的模型 ，参数是，以此拟合数据。

神经网络由神经元构成，最简单的神经网络是由一个神经元构成的，下图 1便是一个神经元：

                                

　　　　　　　　　　　　　　　　　图 1

这个“神经元”是一个以  及截距  为输入值的运算单元，其输出为  ，其中函数  被称为“激活函数”。这里使用sigmod函数作为激活函数：

　　　　　　　　　　

许多神经元组合在一起就是神经网络模型，具体如图 2所示。

                                                           

　　　　　　　　　　　　　　　　图 2 神经网络结构

图1对应的神经网络的表达式，如图 3所示。

　　　　　　　　　　　　　　　　

                                         

　　　　　　　　　　　　　　　　图 3 神经网络表达式

在图 3 中，x1、x2、x3输入的是特征值，如果输入的数据是图像，则x1、x2、x3指图像中的每个像素。W表示权重，这些权重由计算机初始化之后，根据损失函数，修改权重，使其计算出来的损失值逐渐的减小。+1表示偏置值，使提供的模型表达式尽可能地满足于各种模型需求。在特征输入之后和对应的权重相乘，在节点处经过激活函数，对线性特征的非线性表达，使其特征更加突出。

每次前向传播一次后会计算损失值，损失值代表着模型的预测值和真实值不一样的程度，然后再反向传播，根据损失值，更新权重。