摘要：
回到随机变量传输问题，假设传输中我们不知道具体 分布情况(unknown),我们用一个已知的分布 ,来模拟它,那么在这种情况下如果我们利用 尽可能高效的编码，那么我们平均需要多少额外的信息量来描述x呢。这称为相对熵，或者kl divergence。 利用凸函数的不等式性质(也利用了离散求和推广到连续... 阅读全文
摘要：
点互信息 Pointwise mutual information(PMI), orpoint mutual information, is a measure of association used ininformation theoryandstatistics. The PMI of a p... 阅读全文
摘要：
http://www.cnblogs.com/rocketfan/archive/2010/09/24/1833839.html 惊讶度 相加关系 不相关 p(x,y)=p(x)p(y) 如果按信息量 不相关应该信息量累加 相加 所以 log h(x) = -log(p(x)) 信息平均而言 H(x... 阅读全文