什么是梯度下降？

梯度下降就是沿着梯度所指引的方向，一步一步向下走，去寻找损失函数最小值的过程，然后我们就找到了接近正确的模型。

在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法有随机梯度下降法和批量梯度下降法。梯度下降法不是机器学习算法，而是一种求解的最优化算法。主要解决求最小值问题，其基本思想在于不断地逼近最优点，每一步的优化方向就是梯度的方向。

简单情况下的计算步骤：method

较复杂情况下计算步骤：method2