摘要：CART，又名分类回归树，是在ID3的基础上进行优化的决策树，学习CART记住以下几个关键点：（1）CART既能是分类树，又能是分类树；（2）当CART是分类树时，采用GINI值作为节点分裂的依据；当CART是回归树时，采用样本的最小方差作为节点分裂的依据；（3）CART是一棵二叉树。接下来将以一个... 阅读全文

摘要：说到分类树，第一个想到的算法肯定是C4.5，作为数据挖掘的十大算法之一，C4.5在ID3的基础上，从分裂的依据、数据的处理以及剪枝三个方面进行了优化，实现更加精准的预测和分类，本文将主要从上述三个方面对C4.5进行阐述，并给出C4.5的源代码。 阅读全文

摘要：ID3是基本的决策树构建算法，虽然在对数据的处理、预测的精度上比不上C4.5和CART，但仍然是学习决策树的重要算法。本文将以实际的例子讲述ID3的构建过程，并在文末给出ID3的源代码。 阅读全文

摘要：什么是剪枝？ 剪枝是指将一颗子树的子节点全部删掉，根节点作为叶子节点，以下图为例：为甚么要剪枝？ 决策树是充分考虑了所有的数据点而生成的复杂树，有可能出现过拟合的情况，决策树越复杂，过拟合的程度会越高。 考虑极端的情况，如果我们令所有的叶子节点都只含有一个数据点，那么我们能够保证所有的训... 阅读全文

摘要：决策树是一种重要的分类和回归方法，具有可读性强、分类速度快等特点。决策树是一种树形结构，通过多个If-then规则实现分类或者回归的目的。本文将介绍决策树的基本原理，并以实际的例子详细讲解决策树基本的构建过程。 阅读全文