1-回归

机器学习

监督学习

1、给与机器学习的目标，即需给输入和输出值

2、定义模型函数

3、定于模型的好坏，即损失函数

4、使用算法求最优模型函数

 

梯度下降w1 = w0 - (dL/dw)x

为什么是减号，比如dL/dw为负数，则增大x方向，w1才是减小的

 

增加正则项防止过拟合，正则项防过拟合原因是啥？ 为啥正则项前的参数 那么那 是超参，需要调参？

1、比如学习的参数为x，由训练实验结果可知，陆续增加x^2平方,x^3,x^4等，在训练集，误报率会下降。但是测试集在增加到x^4时候，测试集准确率会下降，原因是出现过拟合，曲线变得不平滑。所以增加 w^2的作为loss的惩罚项，这样function结果会趋向于阶次少的，function曲线会趋向平滑

2、正则项前的作为超参，需要调参的原因是，寻找到合适的function。当该超参太大，w的参数太少，曲线过于平滑，会欠拟合。 超参太小，w参数太多，会过拟合。