【机器学习】:决策树之CART回归树

在决策树算法当中,cart回归树是决策树的一种,它用来做回归的策略十分常见。可能还会在后续的GBDT模型当中所运用到,用来作为我们分裂节点的一个标准,我们来了解了解。

 

 

 

 

 

 

 

 

 

 备注:

在进行计算回归树的c1和c2的值的时候,我们使用的方法,是对c1所在的区域做一个平均值,然后对c2的所在的区域算出一个平均值。c1和c2的交界处就是我们进行split的一个特征。比如x>2.5. 而分裂策略是通过平均误差来进行计算的,得到最小的均方误差,就可以使用具备最小loss的这个点来作为我们cart回归树的分裂点。在gbdt当中,每一轮都适用cart回归树来对分裂点进行计算。同时通过最小化残差来作为我们的判别标准。最后把所有树的结果加起来(不带权重,adaboost有带权重),就得到了最后我们的集成模型。

posted @ 2021-12-07 17:46  Geeksongs  阅读(73)  评论(0编辑  收藏  举报

Coded by Geeksongs on Linux

All rights reserved, no one is allowed to pirate or use the document for other purposes.