摘要：1. 概述 KL散度存在不对称性，为解决这个问题，在KL散度基础上引入了JS散度。 \[ J S\left(P_{1} \| P_{2}\right)=\frac{1}{2} K L\left(P_{1} \| \frac{P_{1}+P_{2}}{2}\right)+\frac{1}{2} K L 阅读全文

摘要：1. 概述 在信息论中，相对熵等价于两个概率分布信息熵的差值，若其中一个概率分布为真实分布，另一个为理论（拟合）分布，则此时相对熵等于交叉熵与真实分布信息熵之差，表示使用理论分布拟合真实分布时所产生的信息损耗。 \[ D_{K L}(p \| q)=\sum_{i=1}^{N}-p\left(x_{ 阅读全文

摘要：1. 信息量的多与少 任何事都会承载一定的信息量，包括已发生和未发生的事，只是它们承载的信息量有所不同。如昨天下雨这个已知事件，因为已经发生，你我都知道这件事，故它的信息量为0。但明天会下雨这件事，因为未发生，所以这事的信息量就大。 从上面例子可以看出信息量是一个与事件发生概率相关的概念，一条信息的 阅读全文