决策树



熵




条件熵







经验熵 经验条件熵



相对熵 互信息











决策树 (Decision Tree)





ID3 信息增益 （容易过拟合）






计算信息增益




• 选择信息增益最大的特征作为当前的分裂特征 

例子






C4.5 信息增益比

以信息增益 作为划分训练数据集的特征，存在偏向于 选择取值较多的特征的问题， 使用信息增益比 对这一问题 进行校正。


CART树 Gini系数










决策树的损失函数





剪枝