2025年11月19日
熵、交叉熵、KL散度
摘要： 熵 描述自身分布的不确定性。 熵是干什么的？ 熵是度量不确定性的。如果某个东西越不确定，那么我就需要用更多的信息才能弄清楚它。此时，熵就很大。 事件越均匀，不确定性越大 举个例子，从1-100个数字里等概率抽取一个数字。由于是等概率的，所以不确定性很大，即熵很大。如果从2个红苹果和1个绿苹果里，抽中 阅读全文
posted @ 2025-11-19 14:21 顾子郤 阅读(9) 评论(0) 推荐(0)