junanpan

摘要： 在信息论当中，我们经常用熵来表示信息的混乱程度和不确定程度。熵越大，信息的不确定性就越强。 熵的公式如下： （注：log默认以2为底） 把这个公式拆开来看其实非常简单：一个负号，一个p(x)以及log(p(x))。我们知道一个事件发生的概率是0-1之间的，这样一个概率值送入log函数（如下图），肯定 阅读全文