信息熵是什么

熵是物理学中的概念，是指系统混沌状态的一种量化指标。熵的大小与系统混沌程度正相关，也就是系统越混沌，熵值越大，反之，亦然。

信息熵

表征信息不确性的指标。与信息的不确定性相关，信息熵越大，信息的不确定性越大。

信息熵是怎么计算的？

涉及到信息论的内容，也就是信息编码问题。信息要全部表示完，共需多少个编码？或者说需要个二进制位数。
香农给出了理论也就是：
\[L(x)=log_2(1/p(x))\]
L表示所需要的二进制位，p(x)表示发生的概率。
通过此公式，可以计算出某种概率的结果所需要的二进制位。
知道了二进制位数，那么信息的平均编码长度是多少呢
\[H(x) = \sum_{x}(p(x)*L(x))\]
也就是最优的编码长度。

参考文献

1. 信息论入门教程
2. markdown公式表示