2019年3月13日
摘要: 机器学习的面试题中经常会被问到交叉熵(cross entropy)和最大似然估计(MLE)或者KL散度有什么关系,查了一些资料发现优化这3个东西其实是等价的。 熵和交叉熵 提到交叉熵就需要了解下信息论中熵的定义。信息论认为: 确定的事件没有信息,随机事件包含最多的信息。 事件信息的定义为:$I(x) 阅读全文
posted @ 2019-03-13 17:52 Arkenstone 阅读(5953) 评论(0) 推荐(2) 编辑