信息熵，交叉熵和相对熵

0 前言

上"多媒体通信"课，老师讲到了信息论中的一些概念，看到交叉熵，想到这个概念经常用在机器学习中的损失函数中。

这部分知识算是机器学习的先备知识，所以查资料加深一下理解。

1 信息熵的抽象定义

熵的概念最早由统计热力学引入。

信息熵是由信息论之父香农提出来的，它用于随机变量的不确定性度量，先上信息熵的公式。

信息是用来减少随机不确定性的东西（即不确定性的减少）。

我们可以用log ( 1/P )来衡量不确定性。P是一件事情发生的概率，概率越大，不确定性越小。

可以看到信息熵的公式，其实就是log ( 1/P )的期望，就是不确定性的期望，它代表了一个系统的不确定性，信息熵越大，不确定性越大。

注意这个公式有个默认前提，就是X分布下的随机变量x彼此之间相互独立。还有log的底默认为2，实际上底是多少都可以，但是在信息论中我们经常讨论的是二进制和比特，所以用2。

信息熵在联合概率分布的自然推广，就得到了联合熵

当X, Y相互独立时，H(X, Y) = H(X) + H(Y)

当X和Y不独立时，可以用　I(X, Y) = H(X) + H(Y) - H(X, Y)　衡量两个分布的相关性，这个定义比较少用到。

2 信息熵的实例解释

举个例子说明信息熵的作用。

例子是知乎上看来的，我觉得讲的挺好的。

比如赌马比赛，有4匹马{ A, B, C, D}，获胜概率分别为{ 1/2, 1/4, 1/8, 1/8 }，将哪一匹马获胜视为随机变量X属于 { A, B, C, D } 。

假定我们需要用尽可能少的二元问题来确定随机变量 X 的取值。

例如，问题1：A获胜了吗？　问题2：B获胜了吗？　问题3：C获胜了吗？

最后我们可以通过最多3个二元问题，来确定取值。

如果X = A，那么需要问1次（问题1：是不是A？），概率为1/2

如果X = B，那么需要问2次（问题1：是不是A？问题2：是不是B？），概率为1/4

如果X = C，那么需要问3次（问题1，问题2，问题3），概率为1/8

如果X = D，那么需要问3次（问题1，问题2，问题3），概率为1/8

那么为确定X取值的二元问题的数量为

回到信息熵的定义，会发现通过之前的信息熵公式，神奇地得到了：

在二进制计算机中，一个比特为0或1，其实就代表了一个二元问题的回答。也就是说，在计算机中，我们给哪一匹马夺冠这个事件进行编码，所需要的平均码长为1.75个比特。

很显然，为了尽可能减少码长，我们要给发生概率 $p(x)$ 较大的事件，分配较短的码长 $l(x)$ 。这个问题深入讨论，可以得出霍夫曼编码的概念。

霍夫曼编码就是利用了这种大概率事件分配短码的思想，而且可以证明这种编码方式是最优的。我们可以证明上述现象：

为了获得信息熵为 $H(X)$ 的随机变量 $X$ 的一个样本，平均需要抛掷均匀硬币（或二元问题） $H(X)$ 次（参考猜赛马问题的案例）

信息熵是数据压缩的一个临界值（参考码长部分的案例）