信息论（一）

目录

• 信息论的形成
• 信息论的发展
  • 信息论的基本任务
• 香农信息论提出的通信模型
  • 1.信息、消息、信号的区分
  • 2.组成部分
  • 3.通信过程
  • 4.核心问题

信息论的形成

信息论是通信中的数学理论，是研究信息传输,存储和处理的学科。信息论讨论存在性问题，它回答了两个根本问题：

• （1）数据压缩可以达到何种程度----无损压缩受到熵的限制，有损压缩受到信息率失真理论的制约
• （2）通信系统最大信息传输速率是多少----不会超过信道容量

信息论的发展

香农作为信息论的奠基人，认为信息论的基本任务是设计有效而可靠的通信系统
香农的贡献：

• 用概率论的方法对通信系统进行研究
• 通信系统传递对象是信息
• 对信息进行了科学的定量描述，提出了熵的概念

信息论的基本任务

1. 可靠性----使信源发出的消息经传输吼，尽可能准确无失真、或限失真在收端再现（以误码率度量）
2. 有效性----用尽可能短的时间或者尽可能少的设备来传输最多的消息，比如带宽、磁盘空间（以速率度量）

香农信息论提出的通信模型

1.信息、消息、信号的区分

信息：事物的运动状态和状态变化的方式
消息：信息的载体，如语言、文字、图像
信号：消息的具体物理体现，如电磁。只有信号能在信道中传输
信息蕴含在消息中，信号是物理量，用来承载信息

2.组成部分

五大部分：

1. 信源：消息的来源（可以是文字、语言、图片），以符号形式表示，具有随机性。
2. 编码器：分为信源和信道编码器，两者作用不同。

信源编码通过去冗余，达成压缩信息，减少信息率的作用，提高了系统传输的有消息

信源编码分类：
无失真编码（无损）----适用于数字信号，编码器输出码字序列与信源发送序列一一映射，熵不变
限失真编码（有损）----适用于模拟信号，重建符号与信源发送符号不完全一致，出现符号合并，使得重建符号的熵减少了
回答了信源压缩能够达到什么程度

3. 信道：传输信息的介质。

信道编码器通过添加冗余位，进行检错，纠错
原则：尽量减小误码率，尽量少增加冗余位
信源编码和信道编码相互矛盾，在设计的时候需要进行折中

4. 译码器：还原，准确或者近似再现信源发出的消息。由解调器。信道译码器和信源译码器组成。
5. 信宿：接收消息的人或机器，与信源处于不同地点或存在不同时刻。可以有一个或者多个。
   
   香农信息论的通信系统模型，研究从发端（信源）到收端（信宿）有多少信息被传输。

3.通信过程

信源发出的消息，经编码器变为二进制数串，再经过信道传输到收端，通过译码器变为九三级或者人（信宿）能够理解的消息。

4.核心问题

信源及信道的编、译码器的设计。

通信系统模型的进一步细分：

从信源编码器输出到信源译码器输入之间形成等效离散信道。

调制器作用:将信道编码的输出变换为合适的信道传输要求的信号
不同的调制方式适用于不同的信道：例如ASK,PSK,FSK
将信道编码器和调制器的组合称为信道编码器。信息论中的信道编码是指纠错编码