摘要：信息增益是随机森林算法里面的一个很重要的算法，因为我们在选择节点的特征项的时候，就要通过信息增益或者是信息增益率来选择。这里先理解信息增益。什么是信息增益呢？信息增益（Kullback–Leibler divergence）又称information divergence，information gain，relative entropy 或者KLIC，其实在有些书中叫做相对熵，但是理解起相对熵的公式比较复杂，让人不能很好的理解。下面我以分类来理解这个算法。假如我们拥有M个类别标签C={C1,C2,C3....Cn} 并且拥有N个特征：T={T1,T2,T3....Tn} 那么对于某一个特.. 阅读全文

摘要：张乐最大熵包使用总结，我是在linux服务器(64位)上面编译使用的，具体步骤如下：1 下载最大熵包 https://github.com/lzhang10/maxent2 解压3 配置安装路径./configure --prefix=/home/zouqibo/因为由于是在服务器上面做研发工作，没有root权限，所以只能把安装路径设置在自己的目录下，如果不执行这一步的话，后面的安装会失败，因为没有权限写/usr/下面的空间。4 编译make 5 安装make install注意：由于我们编译出来了可执行二进制文件和静态库文件libmaxent.a,路径是：/home/zouqibo/max. 阅读全文