信息熵的定义和简单计算

定义：

 

 p（x）指的是离散型随机变量的各个情况的概率

 

例子：

 

 

 

 对数的底数为2---如果单位是比特的话

 

条件熵（期望熵）和信息增益：

 

 

 

 注意这个条件是（是否阴天）

 

 信息增益则是总的熵减去条件熵