信息熵，交叉熵损失

转载三篇文章

阮一峰：
信息论入门

Brook@CV：
信息熵、相对熵、交叉熵、交叉熵损失

Northan：
信息熵及其相关概念

信息论之父克劳德·香农给出的信息熵的三个性质：
1.单调性，发生概率越高的事件，其携带的信息量越低。
2.非负性，信息熵可以看作为一种广度量，非负性是一种合理的必然。
3.累加性，多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。

香农从数学上严格证明了满足上述三个条件的随机变量不确定性度量函数具有唯一形式:

\[H(X)=−C \sum p(x) \log p(x) \]

\(C\) 为常数，我们将其归一化为 \(C=1\),即得到了信息熵公式。