信息熵

目录

• 具体案例
  • 硬币
  • 筛子
  • 作弊的硬币
  • 总结：
• 信息熵计算公式

---

熵定义：
信息熵是信息论中用于度量信息不确定性的单位量。 简而言之，熵值用来告诉我们某件事情的结果到底有多难猜。

---

说人话：
信息熵 (Information Entropy) —— “不确定性”的度量；
核心定义： 信息熵衡量的是一个事件发生前，你对其结果的不确定性用数学描述——信息熵是所有可能结果所含“信息量”的平均值。

与概率的区别：
信息熵不是概率，但它是概率的“平均不确定性”总结。

直观例子：

• 情况 A（熵极低）： 你抛一枚两面都是“人头”的硬币。结果一定是人头，没有任何悬念。此时熵为 0，因为这件事没提供任何新信息。
• 情况 B（熵较高）： 你抛一枚正常的硬币。正反概率各占 50%，你有一半的不确定性。
• 情况 C（熵更高）： 你掷一个 6 面的骰子。结果有 6 种可能，比硬币更难猜中，不确定性更大，因此熵更高。

结论： 事情越随机、可能性越多、越均匀，信息熵就越大。在数据科学中，熵常被用来衡量数据的“纯度”。

---

具体案例

硬币

筛子

作弊的硬币

总结：

• 可能性越多（比如从硬币到骰子），熵越大。
• 概率越均等，熵越大；
• 一旦某种结果特别容易出现，熵就会变小。

---

信息熵计算公式

通过公式可以计算出一个事物的出现的概率，结果的熵值越高，表示结果越混乱、越难预测（比如抛公平骰子）。反之熵值越低，结果越有序、越容易预测。