随笔分类 -  信息论与编码

摘要：4x4数据块经过预测、变换、量化后，非零系数主要集中在低频部分，而高频部分大部分是零。数据经过zig-zag扫描后，从左->右(低频->高频)，DC系数附近的系数非常大，而高频的非零系数大部分是+1，-1(why? 应该是通过数据统计得到的。理论上推导暂时不知。)因此可以得出量化后4x4块的特性有几个：1)、非零系数一般较少，大部分是零，非零集中在DC附近。2)、高频非零大部分是+1/-1。3)、相邻的4x4块是相关的。（意思就是说 上面两点特性有关联，比如左边上边4x4非零系数很多，那么当前块很大的概率也是非零系数很多，小概率出现非零系数少的情况。这就给变长编码提供了概率依据。） 阅读全文

摘要：熵编码的数学基础是基于事件的概率分布，对于大概率事件采用较短的编码，小概率事件采用较长的编码。对于不同的概率分布选择的算法也就不一样。比如run-length编码、哥伦布编码就比较适合于概率密度函数服从几何分布或者是拉普拉斯分布，但是如果出现一些噪声或者离群数据，将导致编码效率极大的降低。几个概念：LSB:Least significant bithttp://en.wikipedia.org/wiki/Least_significant_bit几何分布http://zh.wikipedia.org/wiki/%E5%B9%BE%E4%BD%95%E5%88%86%E4%BD%88拉普拉斯分布 阅读全文

摘要：傅里叶变换在物理学、数论、组合数学、信号处理、概率论、统计学、密码学、声学、光学、海洋学、结构动力学等领域都有着广泛的应用（例如在信号处理中，傅里叶变换的典型用途是将信号分解成幅值分量和频率分量）。 傅里叶变换能将满足一定条件的某个函数表示成三角函数（正弦和/或余弦函数）或者它们的积分的线性组合。在不同的研究领域，傅里叶变换具有多种不同的变体形式，如连续傅里叶变换和离散傅里叶变换。 傅里叶变换是一种解决问题的方法，一种工具，一种看待问题的角度。理解的关键是：一个连续的信号可以看作是一个个小信号的叠加，从时域叠加与从频域叠加都可以组成原来的信号，将信号这么分解后有助于处理。 我们原来对... 阅读全文

摘要：这学期当本科生数字图像处理的助教老师，为使学生更好地理解DCF和DFT之间的关系给出三题,大家可以思考一下，看一下自己对这些最简单的变换是否真正理解.1、求解序列f(n)=[2,3,3,4,4,3,2,1]的DFT变换，并画出对应的时域图像f(n)、频域图像F(u),频谱及相位谱.input f(n)|F(u)||P(u)|2、求解序列f1(n)=[2,3,4,4]的DCT变换和序列f2(n)=[4,4,3,2,2,3,4,4]的DFT变换，画出对应的频谱，并分析它们之间的关系.提示：DCT的计算过程是通过将序列对偶延拓，再DFT实现的，从这个角度考虑两者之间的关系.3.求解二维DCT变换的基 阅读全文

摘要：原文地址：http://blog.sina.com.cn/s/blog_626631420100xvxd.htm已知离散傅里叶变换（DFT）为：由于许多要处理的信号都是实信号，在使用DFT时由于傅里叶变换时由于实信号傅立叶变换的共轭对称性导致DFT后在频域中有一半的数据冗余。离散余弦变换（DCT）是对实信号定义的一种变换，变换后在频域中得到的也是一个实信号，相比DFT而言,DCT可以减少一半以上的计算。DCT还有一个很重要的性质（能量集中特性）：大多书自然信号（声音、图像）的能量都集中在离散余弦变换后的低频部分，因而DCT在（声音、图像）数据压缩中得到了广泛的使用。由于DCT是从DFT推导出来 阅读全文

摘要：原文地址：http://wenku.baidu.com/view/8cd8e219a2161479171128f7.html1.1定义预测编码是数据压缩理论的一个重要分支。根据离散信号之间存在一定相关性特点，利用前面的一个或多个信号对下一个信号进行预测，然后对实际值和预值的差（预测误差）进行编码。如果预测比较准确，那么误差信号就会很小，就可以用较少的码位进行编码，以达到数据压缩的目的。第n个符号Xn的熵满足：n越大考虑更多元素之间的依赖关系时，熵值进一步降低，得到的熵越接近于实际信源所含的实际熵（极限熵）。所以参与预测的符号越多，预测就越准确，该信源的不确定性就越小，数码率就可以降低。1.2原 阅读全文

摘要：原文地址：http://wenku.baidu.com/view/fbdb7dfa770bf78a64295405.html1 定义标量量化：把每个像素的颜色用一个0到255之间的整数值表示。矢量量化：把几个像素组成的像素块，用一个特定码书中的像素块来表示，码书中像素块的数目，一般远小于这些像素块所有可能颜色的组合。在图像压缩中的矢量量化：2矢量量化的使用如果一个2x2像素的小块，每像素有8位表示，则所有的像素块的可能取值有：232=4G种，可以选择一个远远小于这个数的数n，作为码书中码的个数，然后对图像中的每个块（矢量），用一个码书中的码来近似，这样只需用这个码的编号来编码这个图像矢量即可， 阅读全文

摘要：原文地址：http://jpkc.zust.edu.cn/2007/dmt/course/Mmt03_03_1.htm 早在1948年，香农就提出将信源符号依其出现的概率降序排序，用符号序列累计概率的二进值作为对芯源的编码，并从理论上论证了它的优越性。1960年，Peter Elias发现无需排序，只要编、解码端使用相同的符号顺序即可，提出了算术编码的概念。Elias没有公布他的发现，因为他知道算术编码在数学上虽然成立，但不可能在实际中实现。1976年，R. Pasco和J. Rissanen分别用定长的寄存器实现了有限精度的算术编码。1979年Rissanen和G. G. Langdon一. 阅读全文