2020年6月29日
【机器学习】信息熵、条件熵、相对熵、交叉熵
摘要： 信息熵：由信息量的概念引出信息熵，首先要知道信息量的公式的由来(4点推导出)，某个事件的信息量就是 这个事件发生的负对数。而信息熵是跟所有可能性有关系的。每个可能事件的发生都有个概率。信息熵就是平均而言，发生一个时间我们可以得到的信息量的大小。所以从数学上看，信息熵其实是信息量的期望（公式详见正文） 阅读全文
posted @ 2020-06-29 10:32 我得冲向图书馆了 阅读(983) 评论(0) 推荐(0)