摘要:
KL散度&互信息 KL散度(KL divergence) 假设我们是一组正在广袤无垠的太空中进行研究的科学家。我们发现了一些太空蠕虫,这些太空蠕虫的牙齿数量各不相同。现在我们需要将这些信息发回地球。但从太空向地球发送信息的成本很高,所以我们需要用尽量少的数据表达这些信息。我们有个好方法:我们不发送单 阅读全文
posted @ 2020-01-15 23:11
Lyu1997
阅读(2435)
评论(0)
推荐(0)
摘要:
信息量&熵 对于离散的随机变量$x$,在我们观察这个$x$的值的时候,我们接受的信息如何计算? 信息量 信息量表示学习到$x$值时的“惊讶程度”,计算如下: $$ h(x)= \log_2p(x) $$ $p(x)$表示$x$发生的概率,$h(x)$表示信息量,单位为bit。基于传统我们选择以2为底 阅读全文
posted @ 2020-01-15 19:55
Lyu1997
阅读(445)
评论(0)
推荐(0)