线性回归小结

逐步前向线性回归

1.初始化系数为0，即zeros((特征数, 1))

2.每执行一次迭代，都要遍历每一个特征，针对每一个特征的系数，有两种取值情况，分别是[-1,1]两个方向的sign*step。

这样就确定了两个权重向量，然后将所有的训练样本*权重向量，获得训练样本的预测值；

3.将所有这些预测值与真实值，相减并平方后求和，就得到了所有训练样本针对该权重向量的一个误差值。

4.只保留最小误差所对应的权重向量就可以。

5.完成指定迭代之后，就可以得到具有最小误差所对应的权重系数。

 

小结：

每个特征依次乘以一个很小的迭代系数，然后从中选择出一个可以获得最小训练误差的方案，作为本次迭代的一个最优系数。

多次迭代之后，将会最终收敛到一个稳定的系数值。

 

 

岭回归

需要使用标准化的数据，获得权重之后，测试数据也要使用岭回归原始数据的均值和方差来标准化测试数据。

数据标准化（或者说归一化）的介绍：https://www.cnblogs.com/bjwu/p/8977141.html