信息论|信息及其度量

信息论

信息

定性描述：信息是关于物质运动状态的不确定的描述
信息的性质：普遍性，可度量性，可存储、传输与携带，可压缩，可扩散，可共享，时效性，可理解性

信息的获取：对事物的认识的不确定度降低的过程
信息的传递：通信（空间上的传递）；存储（时间上的传递）

通信的根本任务：将一地点的信息可靠地、有效地、安全地传递

基本模型：信源、信道、信宿、干扰源

信息的表达层次

Signal 信号：是信息的物理表达层，是物理量，是载荷信息的实体，可测量、可描述、可显示
Message 消息、符号：是信息的数学表达层，是具体物理信号的进一步数学抽象
离散（数字）消息可以用随机序列描述
连续（模拟）消息可以用随机过程描述
Information 信息：是更高层次哲学上的抽象
信息是内涵，消息是抽象信息在数学层表达的外延；信号是物理层表达的外延

编码的分类：

信源编码：是消息传输更加高效，对信源的消息进行处理（有效性）
信道编码：为了使消息可靠传输到信宿，根据信道对信宿编码后的消息进行处理（可靠性）
密码：为了使消息安全传送，需要对消息进行加密或认证（安全性、保密性、认证性）

Shannon 信息论

“ A Mathematical Theory of Communication ”
“ Communication Theory of Secrecy System ”
仙农信息论就是编码的理论，就是从信息的角度
研究如何提高通信的可靠性、有效性、安全性的理论。
仙农信息论和编码方法是密不可分的
仙农信息论的编码定理是理论极限，是“非构造性的”，
具体实现的编码方法还需要具体构

直观认识信息和信息量

信道上传送的是随机变量的值

（1）我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。
（2）消息随机变量有一个概率分布。
（3）消息随机变量的一个可能取值就称为一个事件。

研究信息的度量就变成了研究信源的不确定性问题。
不确定程度（不确定性的量化表示）可以直观地看成是猜测某种随机事件是否会发生的难易程度。

事件发生的概率越小，此事件含有的信息量就越大

消息随机变量的随机性越大，此消息随机变量含有的信息量就越大

信息的度量

信源的信息量=各事件信息量的统计平均
信源的不确定程度与随机事件的状态数以及各个状态的概率有关

补充概论论内容

基本事件集空间
完备的（每次必然发生其中之一）、两两不相容
概率空间
一个基本事件集以及各个事件出现的概率
\(\begin{bmatrix} X \\ P(x) \end{bmatrix}\)=\(\begin{bmatrix} x_1, & x_2, \cdots, & x_n \\ p(x_1), & p(x_2), \cdots, & p(x_n) \end{bmatrix} \text{且满足: } 0 \leq p(x_i) \leq 1, \quad \sum_{i=1}^{n} p(x_i) = 1\)

定量计算

对于单个事件
\(H(p)\)是\(p\)的非递增函数，且具有可加性
\(H(p)\)形式为 $log( $$1 \over p$$)$
即信息熵
对于整个空间总体
$H(x) = -\sum p_i log p_i $
以2为底：单位bit （binary unit）
以e为底：单位nat （natural unit）
以10为底：单位hat （Hartley）
1 hat=3.32bit
1 nat=1.44bit
一般默认以2为底并略去不写

信息熵

不确定度即信息熵
获得的信息量 = 不确定程度减少的量
熵是从整个集合的统计特性来考虑的，

• 它是从平均意义上来表征信源的总体特征的。
• 信息熵H(X) 表征了变量X的随机性。
• 在信源输出前，信息熵H(X) 表示信源的平均不确定性；
• 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；