摘要： 第一部分是学习ID3时候积累的。一.以前写的基础知识 1.信息：是用来消除不确定性的度量，信息量的大小，由所消除的不确定性的大小来计量（香农）。 2.由于不确定性是由随机性引起的，所以用概率来描述和计量；熵entropy：源于热力学，是分子混乱程度的度量。 3.X(离散型随机变量)的熵H(... 阅读全文