线性回归8-正则化线性模型

1 Ridge Regression 岭回归

• 就是把系数添加平方项
• 然后限制系数值的大小
• α值越小，系数值越大，α越大，系数值越小
  岭回归代价函数:
  

2 Lasso 回归

• 对系数值进行绝对值处理
• 由于绝对值在顶点处不可导，所以进行计算的过程中产生很多0，最后得到结果为：稀疏矩阵
  

3 Elastic Net 弹性网络

• 是前两个内容的综合
• 设置了一个r,如果r=0--岭回归；r=1--Lasso回归
  

4 Early stopping

• 通过限制错误率的阈值，进行停止