弘一的花园

摘要： ID3 公式 设D为用类别对训练元组进行的划分，则D的熵（entropy）表示为： info(D)=−∑i=1npilogpi(1) 现在我们假设将训练元组D按属性A进行划分，则A对D划分的期望信息为： infoA(D)=∑i=jv|Dj||D|info(Dj)(2) 信息增益： gain(A)=i 阅读全文

摘要： 在决策树算法中有对熵，信息增益的运用，通过查询资料学习了，为了方便查阅，做一些笔记，如果有误，请大家包涵并指出。 熵 熵是信息的期望值： H(X)=∑i=1n−p(xi)logp(xi)(1) 熵只依赖X的分布，和X的取值没有关系，熵是用来度量不确定性，当熵越大，概率说X=xi的不确定性越大，反之越 阅读全文