LightGBM调参指南(带贝叶斯优化代码)

同样是基于决策树的集成算法，GBM的调参比随机森林就复杂多了，因此也更为耗时。幸好LightGBM的高速度让大伙下班时间提早了。接下来将介绍官方LightGBM调参指南，最后附带小编良心奉上的贝叶斯优化代码供大家试用。
原文地址：
https://github.com/Microsoft/LightGBM/blob/master/docs/Parameters-tuning.md

 

LightGBM参数列表

建议大家在使用LightGBM前，先仔细阅读参数介绍，毕竟LightGBM还能实现很多有趣的算法如随机森林，dart以及goss，以及众多使用辅助功能。

参数介绍传送门如下：

https://github.com/Microsoft/LightGBM/blob/master/docs/Parameters.md

 

leaf-wise tree的调参指南

 

与大多数使用depth-wise tree算法的GBM工具不同，由于LightGBM使用leaf-wise tree算法，因此在迭代过程中能更快地收敛；但leaf-wise tree算法较容易过拟合；为了更好地避免过拟合，请重点留意以下参数:

 

1. num_leaves. 这是控制树模型复杂性的重要参数。理论上，我们可以通过设定num_leaves = 2^(max_depth) 去转变成为depth-wise tree。但这样容易过拟合，因为当这两个参数相等时, leaf-wise tree的深度要远超depth-wise tree。因此在调参时，往往会把 num_leaves的值设置得小于2^(max_depth)。例如当max_depth=6时depth-wise tree可以有个好的准确率，但如果把 num_leaves 设成 127 会导致过拟合，要是把这个参数设置成 70或 80 却有可能获得比depth-wise tree有更好的准确率。事实上，当我们用 leaf-wise tree时，我们可以忽略depth这个概念，毕竟leaves跟depth之间没有一个确切的关系。

 

2. min_data_in_leaf. 这是另一个避免leaf-wise tree算法过拟合的重要参数。该值受到训练集数量和num_leaves这两个值的影响。把该参数设的更大能够避免生长出过深的树，但也要避免欠拟合。在分析大型数据集时，该值区间在数百到数千之间较为合适。

 

3. max_depth. 也可以通过设定 max_depth 的值来限制树算法生长过深。

 

提高速度的参数

· 通过设定bagging_fraction和bagging_freq来使用 bagging算法

· 通过设定 feature_fraction来对特征采样

· 设定更小的max_bin值

· 使用save_binary 以方便往后加载数据的速度

· 设定平行计算参数

 

提高精度的参数

· 设定更大的max_bin值(但会拖慢速度)

· 设定较小的learning_rate值，较大的num_iterations值

· 设定更大的num_leaves值(但容易导致过拟合)

· 加大训练集数量（更多样本，更多特征）

· 试试boosting= dart

 

避免过拟合的参数

· 设定较小的max_bin

· 设定更小的num_leaves

· 设定min_data_in_leaf和min_sum_hessian_in_leaf

· 通过设定bagging_fraction和bagging_freq来使用 bagging算法

· 通过设定feature_fraction来对特征采样。

· 加大训练集数量（更多样本，更多特征）

· 通过设定lambda_l1, lambda_l2以及min_gain_to_split来采取正则化措施

· 通过设定max_depth以避免过拟合

 

贝叶斯优化LightGBM超参数的代码

此处借用rBayesianOptimization包完成贝叶斯超参数搜索任务：

#加载lgb以及贝叶斯优化所需包
library(lightgbm)
library(rBayesianOptimization)

#载入样例数据集
data(agaricus.train, package = "lightgbm")
dtrain <- lgb.Dataset(agaricus.train$data,
                      label = agaricus.train$label)
#定义k折交叉检验的k值
cv_folds <- KFold(agaricus.train$label, nfolds = 5,
                  stratified = TRUE, seed = 0)

#定义lgb调参函数
lgb_cv_bayes <- function(num_leaves, learning_rate) {
  cv <- lgb.cv(params = list(num_leaves = num_leaves,
                             learning_rate = learning_rate),
               device = 'cpu',
               objective = "regression",
               metric = "l2",
               data = dtrain, 
               nrounds = 100,
               folds = cv_folds, 
               early_stopping_rounds = 5, 
               verbose = 0)
  list(Score = min(unlist(cv$record_evals$valid$l2$eval)))
}
#实施贝叶斯优化调参
OPT_Res <- BayesianOptimization(lgb_cv_bayes, 
                                bounds = list(learning_rate = c(0, 1),
                                num_leaves = c(20L, 40L)),
                                init_grid_dt = NULL, 
                                init_points = 10, 
                                n_iter = 20,
                                acq = "ucb", 
                                kappa = 2.576, 
                                eps = 0.0,
                                verbose = TRUE)

上面的代码仅作参考，实际中请根据自身对参数及实际数据的理解再作修改。

转自：https://zhuanlan.zhihu.com/p/27916208