摘要：熵这个词本来是物理学中表示分子混乱程度的物理量，香农(Claude Elwood Shannon)借用过来描述信源的平均不确定性。信息熵的内容在信息论相关教材中有详细的描述，这里仅对机器学习中用到的部分相关概念做个笔记。 1.信息 信息有别于消息，是对事物运动状态或存在方式的不确定性的描述，并且这种 阅读全文