SuperHero

摘要： KL散度&互信息 KL散度(KL divergence) 假设我们是一组正在广袤无垠的太空中进行研究的科学家。我们发现了一些太空蠕虫，这些太空蠕虫的牙齿数量各不相同。现在我们需要将这些信息发回地球。但从太空向地球发送信息的成本很高，所以我们需要用尽量少的数据表达这些信息。我们有个好方法：我们不发送单 阅读全文

摘要： 信息量&熵 对于离散的随机变量$x$，在我们观察这个$x$的值的时候，我们接受的信息如何计算？ 信息量 信息量表示学习到$x$值时的“惊讶程度”，计算如下： $$ h(x)= \log_2p(x) $$ $p(x)$表示$x$发生的概率，$h(x)$表示信息量，单位为bit。基于传统我们选择以2为底 阅读全文