深度学习笔记之反向传播

1.神经网络参数训练迭代过程

我们在网络结构已知的情况下，对神经网络参数进行迭代式地训练
训练过程如下图

2.方向导数与偏导数
函数在某点有无数个切线的斜率的定义，而每一个切线都代表了一个变化的方向。

偏导数可以研究多元函数在降维时候的变化率。比如二元函数固定y不变，只让x单独变化，将其看成是关于x的一元函数的变化来研究。

3.梯度
梯度是函数在某点无数个变化方向中变化最快的那个方向，记作grandf = 或

在一元函数中寻找最小值的过程，就是沿着导数方向移动的过程。在多元函数中，我们可以通过求出函数对每个变量的偏导数的方式，来得到梯度，这样就分别找到了函数对于不同变量而言变化最快的那个方向。