随笔分类 -  信息论

摘要：1.信源编码的作用与内含： 信源编码是一种以提高通信有效性而对信源符号进行的变换，或者说为了减少或者消除信源剩余度而进行的信源符号变换。具体而言就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所荷载的平均信息量最大，同时又能保证无失真的恢复原来 阅读全文

摘要：1.马氏源的基本概念 马氏源的定义：设信源符号集akε A={a1,a2,...,an}，状态集合Ω ={1,2,3...J},信源序列为...xl-1,xl,xl+1...,所对应的状态序列为...sl-1,sl,sl+1...,那么满足下面的两个条件的信源称为马尔科夫信源：（1）当前时刻输出符号 阅读全文

摘要：1.离散信源的分类和数学模型 在离散时间发出离散符号的信源称为离散信源。如果信源符号集为有限集，则称为有限离散信源。如果信源符号集为无限可数集，则称为无限离散信源。 离散无记忆信源的N次拓展源：设信源为X，则由X构成的N维随机矢量集合XN = X1X2X3...XN(其中Xi与X同分布)，称为信源X 阅读全文

摘要：集合和事件之间的互信息 定义： 平均互信息：定义 平均互信息I(X;Y)其实就是前面提到的互信息I(x;y)在两个概率空间X和Y中求统计平均的结果，它是从整体上表示一个随机变量Y所给出的关于另一个随机变量X的信息量。 平均互信息与熵之间的关系： 物理意义：在通信系统中，H(X)代表接收到输出符号以前 阅读全文

摘要：自信息的含义包括两个方面： 1.自信息表示事件发生前，事件发生的不确定性。 2.自信息表示事件发生后，事件所包含的信息量，是提供给信宿的信息量，也是解除这种不确定性所需要的信息量。 互信息： 离散随机事件之间的互信息： 换句话说就是，事件x,y之间的互信息等于“x的自信息”减去 “y条件下x的自信息 阅读全文

摘要：首先补充两个概念的区别：连续正弦信号 一般在电子领域，指时间连续的正弦信号，重点是时间连续，是模拟信号;                          而正弦序列，一般是为了数字信号处理需要，对模拟的连续正弦信号进行采样，每个正弦信号在一个内至少是两个点或者以上，这样就可以通过该正弦采样序列恢复 阅读全文

摘要：平稳随机过程通过线性系统后仍然是平稳随机过程。这是可以由信号与系统中的系统的性质通过数学计算证明的。下面这道题正是应用了这个性质，十分巧妙。 说有n1,n2两个高斯概率分布相互独立，其均值都为0，方差都为b2。令X1=a+n1 (a为常数), X2=n2, 求P(X1<=X2). 分析：这道题咋一看 阅读全文

摘要：首先补充： randn()函数用来产生正态分布的随机数或矩阵 conj()函数用来求负数的共轭：如果Z是一个复数组，那么conj(Z) = real(Z) - i*imag(Z)其中real(Z)，imag(Z)分别代表Z的实部和虚部 1.首先看一下频谱分析下，频谱图像展现的特征： x = sin( 阅读全文

摘要：1.首先学习下傅里叶变换的东西。学高数的时候老师只是将傅里叶变换简单的说了下，并没有深入的讲解。而现在看来，傅里叶变换似乎是信号处理的方面的重点只是呢，现在就先学习学习傅里叶变换吧。 上面这幅图在知乎一个很著名的关于傅里叶变换的文章中的核心插图，我觉得这幅图很直观的就说明了傅里叶变换的实质。时域上的 阅读全文