深度学习-模型完成一次训练的流程

一、流程说明

　　最简单的神经网络是 y=g(wx+b), g为激活函数，x为输入的一个参数；为了找到一组w和b来与真实数据拟好得更好，我们定义: 损失函数, 并且制定让损失函数最小化这个目标，来计算w和b的值。

　　我们发现简单的线性回归问题，可以直接让损失函数的导数等于零，一步就求到w和b，但神经网络的复杂性让我们没有办法直接得到w和b的解析解，只能通过一点点往偏导数的反方向调整每个参数来慢慢逼近真实答案，这个方法就叫做梯度下降。

　　由于神经网络的层数较多，直接求偏导数非常困难，因此可以逐层求导来间接得到最终的偏导数，这就是链式法则。

　　而通过链式法则求导并逐层更新参数的过程就叫做反向传播。

　　不断的前向传播、反向传播，就构成了神经网络的训练过程。

 

二、训练流程的各个节点

损失函数 -> 均方误差

线性回归

偏导数 -> 梯度下降

链式法则

反向传播