决策树中的信息增益 VS 信息论中的互信息关系

决策树中的信息增益和信息论中的互信息关系

信息论中互信息：

I(X;Y)=H(X)-H(X|Y)

决策树中信息增益：
G(D,A)=H(D)-H(D|A)

两者是一回事，含义都是：信息熵意思是确定性程度，当知道特征X后，原数据集确定性程度增大，信息熵减小，减小的多少即信息增益（互信息）。