机器学习之L1正则化

L1正则化，也称为Lasso 回归（Least Absolute Shrinkage and Selection Operator），是一种在机器学习中用于防止过拟合和进行特征选择的常用技术。它通过在模型的损失函数中添加一个惩罚项来实现这一目的。

1. L1 正则化的工作原理

L1正则化的核心思想是限制模型系数（权重）的绝对值之和，使其向零收缩（shrinkage）。

2. L1 正则化的主要特点

1) 产生稀疏解（Sparsity）

1. • L1正则化最突出的特点是能够将某些特征的系数精确地压缩为零。
   • 这意味着，模型会自动忽略那些对预测结果不重要的特征，从而产生一个只包含少量重要特征的稀疏模型。
   • 这个特性使得L1正则化成为一种有效的特征选择方法。

2) 特征选择

1. • 当数据集包含大量特征，其中许多特征不相关或不重要时，L1正则化可以有效地识别并剔除这些冗余特征(如何做到??)。
   • 通过将不重要特征的系数降为零，L1正则化简化了模型，提高了可解释性，并减少了过拟合的风险。

3) 防止过拟合

1. • 通过对系数进行惩罚，L1正则化可以限制模型的复杂度，防止模型过度依赖训练数据中的噪声，从而提高模型的泛化能力。

3. 与 L2 正则化的区别

L1 正则化和 L2 正则化是两种常见的正则化方法，但它们有明显的不同：

 

特性	L1 正则化 (Lasso)	L2 正则化 (Ridge)
惩罚项	系数的绝对值之和	系数的平方和
系数影响	将不重要的系数压缩为零	将系数压缩至接近零，但不会精确为零
模型特点	稀疏，可用于特征选择	非稀疏，所有特征都保留
几何解释	惩罚项在系数空间中的约束区域是菱形	惩罚项在系数空间中的约束区域是圆形
最佳用途	特征数量多，希望进行特征选择	解决多重共线性问题，当所有特征都重要时

 

4. L1 正则化的几何直观解释

从几何角度看，L1 正则化之所以能产生稀疏解，是因为其约束区域（菱形）在坐标轴上有“尖角”。当损失函数的等高线与菱形约束区域相切时，相切点很有可能落在坐标轴上，导致某些系数正好为零。而L2 正则化的圆形约束区域没有尖角，因此相切点很少会落在坐标轴上。