最冷不过冬夜

摘要： 信息熵 熵原本是物理学中的⼀个定义，后来⾹农将其引申到了信息论领域，⽤来表示信息量的⼤⼩。 信息量越⼤（分类越不“纯净”），对应的熵值就越⼤，反之亦然。 信息增益率 决策树中的ID3算法使⽤信息增益指标实现根节点或中间节点的字段选择，但是该指标存在⼀个⾮ 常明显的缺点，即信息增益会偏向于取值较多的字 阅读全文