02-24 决策树总结

人工智能从入门到放弃完整教程目录:https://www.cnblogs.com/nickchen121/p/11686958.html

决策树总结

一、ID3算法、C4.5算法和CART算法比较

算法 树结构 支持模型 特征选择 连续值处理 缺失值处理 剪枝
ID3 分类 多叉树 信息增益 不支持 不支持 不支持
C4.5 分类 多叉树 信息增益比 支持 支持 支持
CART 分类、回归 二叉树 基尼指数、均方差 支持 支持 支持

二、决策树优缺点

2.1 优点

  1. 简单明了,生成的决策树很直观,在逻辑上可以得到很好的解释,属于白盒模型。
  2. 通常情况下不需要进行数据预处理。
  3. 使用决策树预测的代价是\(O(\log_2m)\quad\text{m为样本数}\)
  4. 很多算法只是专注于离散值或者连续值,而决策树既可以处理离散值也可以处理连续值。
  5. 可以处理多维度样本的分类问题。
  6. 可以使用交叉验证的剪枝方法来选择模型,很大程度的提高了泛化能力。
  7. 对于敏感点的容错能力强。

2.2 缺点

  1. 决策树算法非常容易过拟合,进而导致泛化能力不强。(可以通过设置节点最少样本数量和限制决策树层数来改进)
  2. 决策树会因为样本发生一点的改动,进而导致树结构发生剧烈变化。(可以使用集成学习生成随机森林、Xgboost等方法改善)
  3. 通常情况下通过启发式方法寻找最优的决策树,但由于该问题是一个NP难的问题,所以很容易得到局部最优解。(可以使用集成学习生成随机森林、Xgboost等方法改善)
  4. 决策树很难学习比较复杂的关系,例如异或。(通常换个分类器解决该类问题,例如使用神经网络分类)
  5. 决策树容易偏向于征样本比例偏大的特征。(可以适度的调节样本的权重)
posted @ 2019-10-16 17:07  B站-水论文的程序猿  阅读(1982)  评论(0编辑  收藏  举报