摘要：决策树思维导图[3] 1 信息论基础 1.1 熵 熵是度量样本集合纯度最常用的一种指标。假定当前样本集合$D$中第$k$类样本所占的比例为$p_{k}(k=1,2,...,|K|)$，则样本集合$D$的熵定义为： \(Ent(D)=-\sum_{k=1}^{K}p_{k}log_{2}p_{k}\) 阅读全文