《机器学习》（西瓜书）笔记（4）--决策树

第四章    决策树

4.1  基本流程

一般的，一棵决策树包含一个根结点、若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子节点中；根结点包含样本全集。

 

从根结点到每个叶结点的路径对应了一个判定测试序列。

 

决策树学习的目的是为了产生一棵泛化能力强——即处理未见示例能力强的决策树。其基本流程遵循“分而治之（divide-and-conquer）”的策略。

 

 

 

 

4.2  划分选择

决策树学习的关键是第8行——如何选择最优划分属性。一般而言，随着划分过程不断进行，我们希望决策树的分支结点包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。

 

信息增益

信息熵（information entropy）：是度量样本集合纯度最常用的一种指标。

 计算时约定：当p=0时，plogp=0

 

一般而言，信息增益越大，意味着使用属性a来进行划分所获得的“纯度提升”越大。因此第8行选择属性的方法为：

 

增益率

信息增益准则对可取值数目较多的属性有所偏好，为减少这种偏好可能带来的不利影响，C4.5决策树算法不直接使用信息增益，而是使用增益率（gain ratio）来选择最优划分属性。

 IV(a) 称为属性 a 的固有值（intrinsic value）。属性 a 的可能取值数目越多，则 IV(a) 的值通常会越大。

 

增益率准则对可取值数目较少的属性有所偏好。

先从候选划分属性中找到信息增益高于平均水平的属性，再从中选择增益率最高的。

 

基尼指数

CART决策树（Classification and Regression Tree）使用基尼指数（Gini index）来选择划分属性。

基尼值（Gini(D)）：

直观来说，Gini(D) 反映了从数据集 D 中随机抽取两个样本，其类别标记不一致的概率。因此 Gini(D) 越小，则数据集 D 的纯度越高。

 

属性 a 的基尼指数：

 

所以选择最优划分属性的方法为：

 

4.3  剪枝处理

剪枝（pruning）是决策树学习算法对付过拟合的主要手段。

决策树剪枝的基本策略有预剪枝（prepruning）和后剪枝（post-pruning）。

预剪枝：在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标记为叶结点；

预剪枝基于“贪心”本质禁止一些分支展开，给预剪枝决策树带来了欠拟合的风险。

 

后剪枝：先从训练集生成一棵完整的决策树，然后自底向上的对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶结点。

后剪枝决策树通常比预剪枝决策树保留更多的分支。一般情形下，后剪枝决策树欠拟合的风险很小，泛化性能往往优于预剪枝决策树。但后剪枝过程是在生成完全决策树之后进行的，并且要自底向上的对树中所有非叶结点进行逐一考察，因此其训练时间开销比未剪枝和预剪枝决策树都要大得多。

 

 

4.4  连续与缺失值

连续值处理

连续属性离散化技术：最简单的策略是采用二分法对连续属性进行处理。

 

 

缺失值处理

1). 如何在属性值缺失的情况下进行划分属性选择？

 

2). 给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分？

 

 

4.5    多变量决策树

若把每个属性视为坐标空间中的一个坐标轴，则 d 个属性描述的样本就对应了 d 维空间中的一个点，对样本分类则意味着在这个坐标空间中寻找不同样本之间的分类边界。

决策树所形成的分类边界有一个明显的特点：轴平行（axis-paraller），即它的分类边界由若干个坐标轴平行的分段组成。

 

例如：

 

类器。