香农信息量

 

https://blog.csdn.net/weixinhum/article/details/85059320

 

香农信息量：

只考虑连续型随机变量的情况。设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值，随机变量X在x处的香农信息量定义为：

 

其中对数以2为底，这时香农信息量的单位为比特。香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小。如随机事件“中国足球进不了世界杯”不需要多少信息量（比如要不要多观察几场球赛的表现）就可以消除不确定性，因此该随机事件的香农信息量就少。再比如“抛一个硬币出现正面”，要消除它的不确定性，通过简单计算，需要1比特信息量，这意味着随机试验完成后才能消除不确定性。

可以近似地将不确定性视为信息量。一个消息带来的不确定性大，就是带来的信息量大。比如，带来一个信息：x=sun raise in east，其概率p(x）=1，信息量视为0。

带来另一个信息：y=明天有一个老师要抽查作业------带来了很多不确定性——8个老师，其中一个要抽查，另外7个不抽查，那么就值得我去思索判断推理这其中的信息了------高不确定性，高信息量。
---------------------

 

如果是连续型随机变量的情况，设p pp为随机变量X XX的概率分布，即p(x) p(x)p(x)为随机变量X XX在X=x X=xX=x处的概率密度函数值，则随机变量X XX在X=x X=xX=x处的香农信息量定义为：
−log2p(x)=log21p(x) -log_2p(x)=log_2\frac{1}{p(x)}
−log
2
​
p(x)=log
2
​

p(x)
1
​

这时香农信息量的单位为比特。（如果非连续型随机变量，则为某一具体随机事件的概率，其他的同上）

香农信息量用于刻画消除随机变量在处的不确定性所需的信息量的大小。

上面是香农信息量的完整而严谨的表达，基本上读完就只剩下一个问题，为什么是这个式子？为了方便理解我们先看一下香农信息量在数据压缩应用的一般流程。

假设我们有一段数据长下面这样：aaBaaaVaaaaa aaBaaaVaaaaaaaBaaaVaaaaa

可以算出三个字母出现的概率分别为：

a:1012，B:112，V:112 a:\frac{10}{12}，B:\frac{1}{12}，V:\frac{1}{12}a:
12
10
​
，B:
12
1
​
，V:
12
1
​

香农信息量为：a:0.263，B:3.585，V:3.585 a:0.263，B:3.585，V:3.585a:0.263，B:3.585，V:3.585

也就是说如果我们要用比特来表述这几个字母，分别需要0.263，3.585，3.585 0.263，3.585，3.5850.263，3.585，3.585个这样的比特。当然，由于比特是整数的，因此应该向上取整，变为1，4，4 1，4，41，4，4个比特。

这个时候我们就可以按照这个指导对字母进行编码，比如把a aa编码为"0 00"，把B BB编码为"1000 10001000"，V VV编码为"1001 10011001"，然后用编码替换掉字母来完成压缩编码，数据压缩结果为：001000000100100000 001000000100100000001000000100100000。

上面例子看起来有点不合理，因为如果我们去搞，我们会编码出不一样的东西，如a aa编码为"0 00"，B BB编码为"10 1010"，V VV编码为"11 1111"，因此可以把数据压缩的更小。那么问题出现在哪呢？

出现在这里的B和V这两个字母只用两个比特进行编码对于他们自身而言并不是充分的。在另外一个压缩的例子中，可以一下子就看出来：abBcdeVfhgim abBcdeVfhgimabBcdeVfhgim

上面的每一个字母出现的概率都为112 \frac{1}{12}
12
1
​
，假设我们还是以两个比特去编码B BB和V VV，那么就无法完全区分出12​个字母。而如果是4个比特，便有16种可能性，可以足够区分这​12个字母。

现在回过头来看香农信息量的公式，它正是告诉我们，如果已经知道一个事件出现的概率，至少需要多少的比特数才能完整描绘这个事件（无论外部其他事件的概率怎么变化），其中为底的2就是比特的两种可能性，而因为二分是一个除的关系，因此自变量是概率分之一而不是概率本身。

感性的看，如果我们知道a aa出现的概率为56 \frac{5}{6}
6
5
​
，那么用比特中的"0"状态来表述它是完全合理的，因为其他事件的概率总和只有16 \frac{1}{6}
6
1
​
，但我们给这16 \frac{1}{6}
6
1
​
空出了比特的"1"这12 \frac{1}{2}
2
1
​
的空间来表达他们，是完全足够的。