梯度下降

梯度下降法+最小二乘法

1、具体原理：

（1）确定预测函数

（2）找到代价函数（损失函数）

（3）梯度计算

​ 陡峭程度即为梯度，为代价函数的导数（梯度下降法）

最小二乘法3步：

（4）学习率

​ 每次下降多大

（5）循环迭代

2、预测函数的类型

​ 预测函数可能多种多样，例如y=wx+b,里面有两个变量，画出来就是一个曲面，其对应的损失函数如图，又或者是超维曲面

3、梯度下降类型

4、存在问题

【梯度下降】3D可视化讲解通俗易懂_哔哩哔哩_bilibili