熵

对应的英文单词是Entropy, 是事物混乱程序一种度量方式.
对一个分布来说, 熵:

• 是一个非负值
• 描述从中随机取出一个样本的值的不确定性.

常见的一种计算方式为:

\[H = - \int p(x) ln p(x)dx \]

\(p(x)\) 是样本 \(x\)出现的概率. 从公式中可以看出, \(p(x)\)越小, \(-ln p(x)\) 越大, 但\(p(x)\)相当于给\(-ln p(x)\)加一个权重, 让小概率事件对整体熵的影响不那么大.
若整个分布只有一个值， 那么它的混乱程序，即它的熵为0.
若一个分布只有两种可能的取值，即非0即1，那么它的熵为：

\[H = - p(x=1) ln(p(x=1)) - (1-p(x=1))ln(1-p(x=1)) \]

可以看出：

• 当\(p(x = 1) = 1或0\)时， 熵最小， 因为此时可以完全确定取出的样本是0还是1
• 当\(p(x = 1) = 0.5\)时，熵最大， 因为此时你取一个样本出来，只能瞎猜了。