机器学习算法整理（三）决策树

以下均为自己看视频做的笔记，自用，侵删！

还参考了：http://www.ai-start.com/ml2014/

决策树的训练与测试

如何切分特征（选择节点）

• 衡量标准-熵

 

• 信息增益

决策树构造实例

信息增益：表示特征X使得类Y的不确定性减小的程度。（分类后的专一性，希望分类后的结果是同类在一起）

Outlook = sunny时，熵值 = (-2/5)*log(2/5)/log2 - (3/5) * log(3/5) / log(2)

..........

决策树算法

连续值

剪枝策略

剪枝策略

后剪枝： C(T): 评价函数， T_leaf : 叶子结点个数, 求minC(T)， alpha大：T_leaf 小；alpha小：T_leaf可以多点

后剪枝：比较分裂前和分裂后 损失值是否会变大，变大就不要了！