Decision trees决策树

信息熵(entropy)

信息熵模型(香农Shannon’s Entropy Model)

 

在一个随机事件中，某个事件发生的不确定度越大，熵也就越大，那我们要搞清楚所需要的信息量越

 

 

 

 

信息增益（IG，Information Gain）：决策树构建中节点的选择靠的是信息增益

表示得知特征A的信息而使得D集合的信息不确定性减少的程度。

选 IG 大的那个feature