正则化

正则化

• 什么是正则化
• 正则化类别

什么是正则化

不知道建立模型的时候建立到多复杂才合适怎么办？那么我们先做到模型足够复杂！

足够的复杂之后，会有一个冗余的复杂度，容易过拟合。

因此，我们可以通过正则化的方法，将冗余的复杂度降低。

思路：剔除高次项的，将高次项的系数变成0或者趋近于0。

在解决回归过拟合中，我们选择正则化。但是对于其他机器学习算法如分类算法来说也会出现这样的问题，除了一些算法本身作用之外（决策树、神经网络），我们更多的也是去自己做特征选择，包括之前说的删除、合并一些特征。

正则化类别

• L2正则化
  • 作用：可以使得其中一些W的都很小，都接近于0，削弱某个特征的影响。
  • 优点：越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现
  • Ridge回归
  • 加入L2正则化后的损失函数：
    • 损失函数 + λ惩罚项
    • Ridge —— 岭回归
• L1正则化 。
  • 作用：可以使得其中一些W的值直接为0，删除这个特征的影响 。
  • LASSO回归
  • 加入L1正则化后的损失函数：
    • 损失函数 + 惩罚项