机器学习之L2 正则化

L2 正则化，也称为 岭回归（Ridge Regression），是一种在机器学习中用于防止过拟合的正则化技术。它通过在模型的损失函数中添加一个惩罚项来实现，该惩罚项是模型系数的平方和。 

1. L2 正则化的工作原理

L2 正则化的核心思想是限制模型系数（权重）的平方和，使其向零收缩，但通常不会精确地等于零。

2. L2 正则化的主要特点

1）收缩系数，但不为零

1. • L2 正则化会使所有非零系数都向零的方向收缩，但很少会使它们完全等于零。
   • 这意味着，所有特征都会保留下来，只是那些不重要的特征对应的系数会变得非常小。

2）处理多重共线性

1. • L2 正则化特别适用于处理多重共线性（Multicollinearity）问题。当特征之间高度相关时，L2 正则化可以平衡地减小相关特征的系数，而不是像 L1 那样随机选择一个并丢弃其他。
   • 这使得模型更加稳定和可靠。

3）防止过拟合

• 通过限制系数的大小，L2 正则化可以有效地降低模型的复杂度，防止模型过度依赖训练数据中的任何一个特定特征，从而提高模型的泛化能力。
  

 

3. L2与 L1 正则化的区别

特性	L1 正则化 (Lasso)	L2 正则化 (Ridge)
惩罚项	系数的绝对值之和	系数的平方和
系数影响	将不重要的系数压缩为零	将系数压缩至接近零，但不会精确为零
模型特点	稀疏，可用于特征选择	非稀疏，所有特征都保留
几何解释	惩罚项在系数空间中的约束区域是菱形	惩罚项在系数空间中的约束区域是圆形
最佳用途	特征数量多，希望进行特征选择	解决多重共线性问题，当所有特征都重要时

L2 正则化的几何直观解释

从几何角度看，L2 正则化的约束区域是一个圆形。当损失函数的等高线与圆形约束区域相切时，相切点落在坐标轴上的概率非常小，因此系数很难精确地等于零。这保证了所有特征都能对模型做出贡献，即使是很小的贡献。