charlezou

摘要： 信息增益是随机森林算法里面的一个很重要的算法，因为我们在选择节点的特征项的时候，就要通过信息增益或者是信息增益率来选择。这里先理解信息增益。什么是信息增益呢？信息增益（Kullback–Leibler divergence）又称information divergence，information gain，relative entropy 或者KLIC，其实在有些书中叫做相对熵，但是理解起相对熵的公式比较复杂，让人不能很好的理解。下面我以分类来理解这个算法。假如我们拥有M个类别标签C={C1,C2,C3....Cn} 并且拥有N个特征：T={T1,T2,T3....Tn} 那么对于某一个特.. 阅读全文