2019年9月19日

信息熵，交叉熵和相对熵

摘要： 0 前言 上"多媒体通信"课，老师讲到了信息论中的一些概念，看到交叉熵，想到这个概念经常用在机器学习中的损失函数中。 这部分知识算是机器学习的先备知识，所以查资料加深一下理解。 1 信息熵的抽象定义 熵的概念最早由统计热力学引入。 信息熵是由信息论之父香农提出来的，它用于随机变量的不确定性度量，先上 阅读全文

posted @ 2019-09-19 11:23 SheltonRo 阅读(518) 评论(0) 推荐(0)

导航