lgb文档学习

 

 

 

 1.L1和l2损失是什么意思？

 

 

 

 

 

 相较于MSE，MAE有个优点，那就是MAE对离群值不那么敏感，可以更好地拟合线性，因为MAE计算的是误差y−f(x)的绝对值，对于任意大小的差值，其惩罚都是固定的。

2.参数：

核心参数：

1.objective:

 

 

 

 

 

 回归应用：用法都是：objective=type

type:

 

 

常见的有：

L2(MSE) \L1（MAE）\MAP

二分类应用：

 

 多分类应用：

 

 交叉熵应用：

 

 排序应用：

2.boosting

 

 默认使用gbdt,梯度下降决策树

3.data:

 

 指的是训练数据

4.valid:

 

 指的是验证集（测试集）的路径或文件，支持多个验证集

 

5.num_iterations:

 

 迭代次数（增益次数）

6.learning_rate:

 

必须大于零的收缩率，双精度小数

 

7.num_leaves:

 

 大于1，一颗树中的叶子的最大个数

8.tree _learner:

 

 学习器是平行的还是单机学习，是数据平行还是特征平行

9.num_threads

 

 线程数目

10.device_type

 

 建立GPU支持后可以用GPU跑

11.seed

 

 一般都是用random_state,可以时间点。实现每次运行程序划分的训练集和测试集都是同一个

使用控制参数：

1. force_col_wise:

 

 特征非常多，线程数目特别多才会推荐使用

2.histogram_pool_size:

 

 设置直方图的最大缓存数，<0代表没有限制

3.max_depth:

 

 设置最大深度防止过拟合，<=0代表没有限制

4.min_data_in_leaf:

 

 设置一个叶子的最小数据量

5.bagging_fraction:

 

小部分装袋：防止过拟合和加快训练 

6.pos_bagging_fraction

 

 

 用于二分类问题

7.neg_bagging_fraction

 

 

 (0,1] 只能用于二分类

8.bagging_freq

每k 此迭代执行一次bagging 随机选择bagging_fraction*100%的数据用于下一次迭代

 9.bagging_seed

用于固定打包时间

10.feature_fraction

 

 

在训练每棵树前 随机选择feature_fraction*100%的特征，值大小为(0,1]

11.feature_fraction_bynode

 

 

 在每棵树节点随机选择一个特征子集

12.feature_fraction_seed

 

 

 用于固定每次的抽取的部分特征

13.extra_trees

 

 

 使用极度随机的树

14.extra_seed

 

 

 固定extra_trees的时间

15.early_stopping_round

 如果在到达设置的提前停止轮内，验证集的某个评价指标没有提高，训练就会停止.，否则继续训练

16.first_metric_only

 

 

 17.max_delta_step:

 

 

用于限制最大叶子输出

18.

lambda_l1:L1正则项

lambda_l2:L2正则项

 

 

 19.linear_lambda:

 

 

 适用于线性回归树

20.min_gain_to_split:

 

 

 执行分割的最小增益，可用于加速训练

21.drop_rate:　　

[0,1]

 

 

 只适用于dart模式下的 丢弃先前的树

22.max_drop

 

 

 在一次增益迭代中丢弃的最大数目，适用于dart模式

23.skip_drop

取值[0,1]，

 

 

 设置在dart模式下跳过dropout的概率

24.xgboost_dart_mode

 

 

 

设置是否采用xgboost里的dart模块

25.uniform_drop

 

 

 随机均衡丢弃

26.

drop_seed:

 

 

 确定选择丢弃模型的时间

goss模型：

27.

top_rate

　　

 

 

大梯度数据的保存概率

28.

other_rate:

 

 

 小梯度数据的保存概率

29.

min_data_per_group

每种类别组的最小数据量的数据

 

 

30.max_cat_threshold

为类别特征设置限制分割点数量

类别型特征
类别型特征（Categorical Feature）主要是指只在有限选项内取值的特征。例如性别（男、女）、成绩等级（A、B、C）等。通常以字符串形式输入，除了决策树等少数模型能直接处理字符串形式的输入，逻辑回归、支持向量机等模型的输入必须是数值型特征才能正确工作。

31.cat-l2

 

 类别分割中的正则项

32.cat_smooth

 

 可以降低类别特征中的噪声，尤其是小样本。

33.max_cat_to_onehot

 

 34.top_k

 

仅仅适用于 voting tree learner

35.monotone_constraints

 

 单调特征

36.monotone_constraints_method

 

 37.monotone_penalty:单调惩罚

 

 38.verbosity

 

 一般就是默认选1，显示信息

39.max_bin

 

 

 将被分桶的特征值的最大分桶数量

40 max_bin_by_feature:

 

 

每个特征的最大分箱数量

41.min_data_in_bin

 

 

 避免一箱一数据，防止过拟合

42.bin_construct_sample_cnt

 

 

 被采样用于创建特征离散箱的数据数量

 loading data directly from text file

直接从testfile中载入数据

43.label_column:

 

 

 　　用于指定标签列

44.weight_column:

用于指定权重列

45.group_column:

 

 46.ignore_column

 47.catagorical_feature

 

 规定一些列是类别特征

Predict Parameters3

48.start_iteration_predict:

 

 

 49.num_iteration_predict

 

 50.predict_raw_score:

 

 布尔型，=True是只预测初始得分

51 .predict_leaf_index：

 

52.pred_early_stop：

 

 仅使用于分类和排序应用

==true会使用early-stopping来加速预测，可能会影响精度

53.pred_early_stop_margin：

 

 在预测中边界的阈值

54.