04-06 梯度提升树

目录

• 梯度提升树
• 一、梯度提升树学习目标
• 二、梯度提升树详解
  • 2.1 梯度提升树和提升树
• 三、回归梯度提升树流程
  • 3.1 输入
  • 3.2 输出
  • 3.3 流程
• 四、梯度提升树优缺点
  • 4.1 优点
  • 4.2 缺点
• 五、小结

更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html

梯度提升树

梯度提升树(gradien boosting decision tree，GBDT)在工业上用途广泛，属于最流行、最实用的算法之一，梯度提升树可以看成是提升树的优化版。

一、梯度提升树学习目标

1. 梯度提升树和提升树
2. 回归梯度提升树流程
3. 梯度提升树优缺点

二、梯度提升树详解

2.1 梯度提升树和提升树

梯度提升树其实流程和提升树差不多，但是在损失函数拟合方面，提升树损失函数拟合用的是平方损失，而梯度提升树则是使用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个回归树。

第t$t$轮第i$i$样本的损失函数的负梯度表示为

rti=−[∂L(yi,f(xi))∂f(xi)]f(x)=ft−1(x)$$r_{ti}=-{[\frac{\mathrm{\partial }L(y_i,f(x_i))}{\mathrm{\partial }f(x_i)}]}_{f(x)=f_{t-1}(x)}$$

利用(xi,rti),(i=1,2,⋯,m)$(x_i,r_{ti}),(i=1,2,\cdots ,m)$，我们可以拟合一颗CART回归树，得到了第t$t$棵回归树，它对应的叶节点区域为Rtj,(j=1,2,⋯,J)$R_{tj},(j=1,2,\cdots ,J)$，其中J$J$为叶子节点数。

三、回归梯度提升树流程

3.1 输入

有m$m$个数据n$n$个特征的训练数据集T={(x,y1),(x2,y2),⋯,(xm,ym)}$T=\{(x_{,}{y}_1),(x_2,y_2),\cdots ,(x_m,y_m)\}$，损失函数为L(y,f(x))$L(y,f(x))$。

3.2 输出

回归树f(x)^$\widehat{f(x)}$。

3.3 流程

1. 初始化

f0(x)=argminc∑i=1mL(yi,c)$$f_0(x)=\underset{c}{\underbrace{argmin}}\sum _{i=1}^{m}L(y_i,c)$$

2. 对i=1,2,⋯,m$i=1,2,\cdots ,m$
   1. 对i=1,2,⋯,m$i=1,2,\cdots ,m$，计算
   rmi=−[∂L(yi,f(xi))∂f(xi)]f(x)=fm−1(x)$$r_{mi}=-{[\frac{\mathrm{\partial }L(y_i,f(x_i))}{\mathrm{\partial }f(x_i)}]}_{f(x)=f_{m-1}(x)}$$
   2. 对rmi$r_{mi}$拟合一个回归树，得到第m$m$棵树的叶节点区域Rmi,j=1,2,⋯,J$R_{mi},j=1,2,\cdots ,J$
   3. 对j=1,2,⋯,J$j=1,2,\cdots ,J$，计算
   cmj=argminc∑xi∈RmjL(yi,fm−1(xi)+c)$$c_{mj}=\underset{c}{\underbrace{argmin}}\sum _{x_i\in R_{mj}}L(y_i,f_{m-1}(x_i)+c)$$
   4. 更新
   fm(x)=fm−1(x)+∑j=1JcmjI(x∈Rmj)$$f_m(x)=f_{m-1}(x)+\sum _{j=1}^J{c}_{mj}I(x\in R_{mj})$$

3. 得到回归树

f(x)^=fM(x)=∑i=1M∑j=1JcmjI(x∈Rmj)$$\widehat{f(x)}=f_M(x)=\sum _{i=1}^M\sum _{j=1}^J{c}_{mj}I(x\in R_{mj})$$

四、梯度提升树优缺点

4.1 优点

1. 相比较SVM，较少的调参时间即可得到一个准确率还不错的模型
2. 相比较提升树，利用了损失函数的负梯度在当前模型的值作为提升树算法中残差值的近似值，即对于回归和分类问题找到了一种通用的拟合损失误差的方法

4.2 缺点

1. 由于弱学习器之间存在依赖，无法支持并行

五、小结

梯度提升树虽然在某种程度解决了提升树对于分类和回归问题使用不同的损失函数的问题，并且使用损失函数的负梯度作为提升树算法残差值的近似值，提升了模型的准确度，但是他还无法做到并行。下面介绍的XgBoost作为GBDT的升级版，将会解决这个问题。