LightGBM中用于控制模型的正则化和特征选择的参数

1. lambda_l1（L1正则化）

• 含义：L1 正则化系数，它会对每个叶子节点的分数进行稀疏化处理，目的是减少模型中的不必要特征，减少过拟合。
• 默认值：0（即不进行 L1 正则化）
• 如何调整：
  • 增大 lambda_l1：可以增加稀疏性，帮助模型在数据特征过多时减少不必要的特征。增大 lambda_l1 也有助于防止过拟合，但过高的值可能导致欠拟合。
  • 调整建议：通常可以从 0.1 开始调节，增大到 1 或更高（例如 10）来测试效果。在噪音较大的数据集中，适度的 L1 正则化可以起到更好的效果。

2. lambda_l2（L2正则化）

• 含义：L2 正则化系数，用于平滑模型的权重分布，减少过拟合。它通过对叶子节点分数的平方惩罚项进行调整，防止模型对训练数据过拟合。
• 默认值：0（即不进行 L2 正则化）
• 如何调整：
  • 增大 lambda_l2：有助于减少特征权重的波动，使模型更稳定，减少过拟合，但过高会导致模型欠拟合。
  • 调整建议：建议从 0.1 开始逐步增大，一般设置在 1 到 10 的范围。可以与 lambda_l1 配合使用，测试不同组合以得到较好的正则化效果。

3. feature_fraction（特征抽样）

• 含义：在每次迭代中，LightGBM 只使用部分特征（按比例选择）来训练模型。这种特征抽样的方式可以增加模型的多样性，防止过拟合。
• 默认值：1（即使用全部特征）
• 如何调整：
  • 减小 feature_fraction：减小此值可以增加模型的多样性，防止模型对某些特征的过度依赖。特别是在特征数量较多的情况下，可以显著减少过拟合。
  • 调整建议：在特征较多时，0.6 到 0.8 的范围比较常用。一般建议从 0.8 开始逐步减小，例如 0.7 或 0.6，可以通过交叉验证来寻找最优值。

4. bagging_fraction（样本抽样）

• 含义：bagging_fraction 控制每次迭代中用于训练的样本比例，即每次迭代中 LightGBM 会随机抽取 bagging_fraction 的数据进行训练。这种方法可以减少数据的方差，提高模型的泛化能力。
• 默认值：1（即使用全部样本）
• 如何调整：
  • 减小 bagging_fraction：在数据量较大时，适当减小此值可以提高模型的泛化能力，防止过拟合。
  • 调整建议：可以尝试将此参数设为 0.5 到 0.9 之间（例如 0.7 或 0.8），如果数据较少，可以使用更接近 1 的值。配合 bagging_freq（抽样频率）一起使用，建议每隔几次迭代进行一次 bagging（例如 bagging_freq = 5）。

参数调优策略

1. 控制过拟合：

   • 增加正则化：增大 lambda_l1 和 lambda_l2 有助于减少特征的重要性，防止过拟合。
   • 减小抽样比例：通过减小 feature_fraction 和 bagging_fraction 增加数据和特征的随机性，防止模型过度拟合训练数据。

2. 提高泛化能力：

   • 较小的特征和样本抽样：适度降低 feature_fraction 和 bagging_fraction（例如都设在 0.7 左右），会使模型更具鲁棒性。

3. 特征较多的情况：在高维数据中，适当增加 lambda_l1 和 feature_fraction 可以帮助模型在处理大量特征时提高稳定性。