L1与L2的原理和区别

L1与L2的原理和区别

正则化：对损失函数加上某种约束，减少模型的非线性程度，从而减少模型的方差提高泛化能力。

损失函数：用来估量你模型的预测值f(x)与真实值Y的不一致程度。

 

正则化常用的两种：

L1是在损失函数基础上加上权重参数的绝对值的和。

L2是在损失函数基础上加上权重参数的平方和。

对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归

 

相同点：都用于避免过拟合

不同点： 

• L1使权重稀疏，L2使权重平滑
• L1优点是能够获得稀疏模型，可以让一部分特征的系数缩小到0，从而间接实现特征选择，对于large-scale的问题来说这一点很重要，因为可以减少存储空间
• L2优点是实现简单，L2让所有特征的系数都缩小，但是不会减为0，缺点就是无法获得sparse模型
• 对于新数据的调整，L1变动很大，L2整体变动不大。