勿要

摘要： 决策树 信息熵 熵原本是物理学中的⼀个定义，后来⾹农将其引申到了信息论领域，⽤来表示信息量的⼤⼩。信息量越⼤（分类越不“纯净”），对应的熵值就越⼤，反之亦然。 条件熵 条件熵 H(X|Y) 表示在已知随机变量Y的条件下，随机变量 X 的不确定性。 信息增益 信息增益率 决策树中的ID3算法使⽤信息增 阅读全文