线性模型

1.线性回归

   最简单的线性回归为普通最小二乘法（ordinary least squres,OLS）,是回归问题最简单也是最经典的线性方法。线性回归寻找参数w（斜率）,b（截距），使得训练集的预测值与回归的真实值y之间的均方误差最小。

                                            y=w[0]*x[0]+w[1]*x[1]+....+w[n]*x[n]+b

 

2.岭回归(ridge regression)

     岭回归也是一种用于回归的线性模型，它的预测公式与线性回归相同。但在岭回归中，对系数(w)的选择不仅要在训练集数据上得到好的预测结果，而且还要拟合附加约束。

     在岭回归中，w的所有元素都应接近0，意味着每个特征对输出的影响尽可能小(即斜率小)，同时仍能得到较好的预测结果，这种约束称为正则化。正则化是指对模型做显示约束，以避免过拟合。岭回归用到正则化为L2正则化。

 

3.lasso

   lasso(Least absolute shrinkage and selection operato)与岭回归相同，lasso也是对系数进行约束，但lasso使用L1正则化，使某些系数刚好为0。从而使某些特征被模型忽略。这也可以看作是一种自动化的特征选择。