http://blog.sina.com.cn/u/5438469990
2017年9月26日
交叉熵与相对熵
摘要： 熵的本质是香农信息量()的期望。 现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。 按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。 如果使用错误分布q来表示来自真实分布p的平均编码长度，则应该是：H(p,q)=。因为用q来编码的样本来自 阅读全文
posted @ 2017-09-26 17:03 Bob·li 阅读(355) 评论(0) 推荐(0)