信息理论与编码中有关信源编码的笔记

我们首先定义编码器的模型

 

这一章节（信道编码）其中的公式 定义 总结

 

 

上图 一定要全部记住

 

克拉夫特不等式（判断是否为唯一可译码）

 

 

例题：

 

 

 

 

 

香农第一定理

 

 

 

 

 

 香农码

 

 

 

 

二元香农码编码步骤

 

 直接看例题：

 

 

 

 

 其中牵扯到十进制转化为二进制小数：

 

 

 

 

 

 

 

 

 

 

二元费诺码的编码

 

 

 

 

 

霍夫曼码：

 

 

编码步骤

 

 

看例题 很好懂

 

 

 

 

香农编码、费诺编码、霍夫曼编码、游程编码

都属于无失真信源编码。

香农编码、费诺编码、霍夫曼编码主要是针对

无记忆信源。当信源有记忆时上述编码效率不高。游程编码对相关信源编码更有效。知道就行了

 

 

分组码或块码，信源符号一般应是多元的，而且不考虑信源

符号之间的相关性。信源编码的匹配原则不能充分满足，编码效率一般不高

为了克服这种局限性，就需要走出分组码的范畴，研究非分组码的编码方法，而算术编码即为一种

非分组码。

• 在算术编码中，信源符号和码字间的一一对应关系并不存在，它是一种从整个符号序列出发，采用递推形式进行编码的方法。

• 直接对输入的信源符号序列进行编码输出。

算术编码;

 

 

算术编码的步骤

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

这个算数编码不要死学 各个版本都不一样