准备1 xgb

1.介绍gdbt：它是一种基于boosting增强策略的加法模型，每一次迭代学习一棵树来拟合前t-1颗树的预测结果和真实结果的残差。

2.介绍xgb：它对gdbt进行了一系列的优化，比如通过每一步拟合之前步的预测结果和真实结果的均方差，然后使用泰勒二阶展开、目标函数加上正则项、支持并行和缺失值，核心思想没有太大变化。

3.xgb为什么可以并行：指的是特征维度的并行，训练之前按特征重要性排序存储并，每个特征都存储成一个block结构。做特征的最佳分割时可以重复使用，通过多线程技术完成并行。

4.xgb为什么使用泰勒而阶展开：因为可以更好的逼近真实的损失函数、有利于梯度下降的更快更准。

5.xgb如何处理确实值：离散：众数；连续：均值或者中位数； 左右子树的Gain值都算一遍 默认走值更大的分支。

6.叶子节点的权重：目标函数obj

7.树停止生长：max_depth max_leaf_weight Gain<0。

8.与RF的区别：rf不断降低模型的方差 gdbt降低的是残差；并行；bagging和boosting；抽样放回、全部；gdbt容易过拟合；容许有缺失值；

9.xgb如何处理不平衡数据：scale_pos_weight

10.什么情况下不如lr：高维的稀疏场景，lr的正则对w的惩罚力度之大，xgb惩罚项随深度，叶子节点的个数递增 一个或几个节点的时候力度较小。

11.xgb如何对树剪枝： 先从顶到底 再从底到顶 gain max_depth max_leaf_weight ；

12.xgb如何分裂节点：gain 数据量大的时候提供了 直方图算法可以获取候选分裂的集合；

13.xgb的稳定性如何体现：a.弱分类器可以是cart b.linear、lr

14.如何评价特征的重要性：gian cover weight

15.xgb调优：estimator（cv 网格校验），max_depth (3-10)、max_leaf_weight(1-6) 、gamma（叶子节点是否继续划分0.1-0.5）、lr（1，0.1，0.01）、

　　　　　　subsample, colsample_bytree（数据采样和特征采样 0.8）、alpha、lamda（l1 l2 1e-5,1e-3,1,100）

16.过拟合解决方案：a.增大estimator 降低lr b.增加随机性 c.max_legth max_leaf_weight

17.lgb 网格算法 和 生长策略。