香农的信息论

之前只知道香农于1948年发表的那篇举世瞩目的paper，《A Mathematical Theory of Communication》，过了一年拉上Warren Weaver作为共同作者出了个单行本，标题只改了一个字，《The Mathematical Theory of Communication》，而Weaver的贡献只是写了份摘要。随手搜了下，原论文索引竟然高达八万多次......

下载地址。

现在经过了解才知道，香农、巴丁（可能还有肖克利）之于电子工程，就是牛顿、麦克斯韦之于物理学，图灵、冯诺依曼之于计算机科学，都是真正通过一己之力开创了一门学科。他们的工作，使得一些零散的研究终于有了体系和系统的方法，而之所以在今人的眼里看起来普普通通，只是因为他们的工作是一切后来者都不能绕过的基石。

 

信息论最初所处理的问题是数据压缩与传输邻域中的问题，其处理方法利用了熵和互信息等基本量。

如果随机变量的概率密度函数为，那么的熵定义为：

熵的量纲为比特，由香农一人提出。熵可以看作随机变量的平均不确定度的度量。在平均意义下，是为了描述该随机变量所需的比特数。

 

单个随机变量的熵为该随机变量的不确定度，涉及两个随机变量的条件熵，即一个随机变量在给定另外一个随机变量的条件下的熵。由另一个随机变量导致的原随机变量不确定度的缩减量称为互信息。具体来说，设和是两个随机变量，那么这个缩减量为互信息，

互信息是两个随机变量相互之间独立程度的度量，它关于和对称，并且永远为非负值，当且仅当和相互独立时，等于零。

互信息实际上是更广泛量相对熵的特殊情形。相对熵是两个概率密度函数和之间的“距离”度量，定义为，

想对熵非负，为0的充分必要条件为。

 

通信通道是一个系统，系统的输出信号按概率输入信号。该系统特征由一个转移概率矩阵决定，该矩阵决定在给定输入情况下输出的条件概率分布。对于输入信号为和输出信号为的通信信道，定义它的信道容量为，

容量是可以使用该信道发送信息的最大速率，而且在接收端以极低的误差概率恢复出该信息。(香农证明了只要通信速率低于通道容量，总可以使误差概率接近于零。)

信息论与电子工程(通信理论)、计算机科学(科尔莫戈罗夫复杂度)、物理学(热力学)、数学(概率论和统计学)、哲学(奥克姆剃刀)、经济学(投资)、计算与通信邻域都有交叉。