首先非常感谢各位朋友对这个系列讲座的关注，这是我2003-2004年工作中一些自学的心得，因为当年是计算机本科毕业，感觉学这个还是有些难度（数学知识不够，当年的书籍也不多），就写了份教程，给和我一样的计算机专业的朋友看，呵呵。前期也收到一些邮件，并给了回复，只是因为我的个人邮箱feathersky@eyou.com 后来不知道为什么失效了，总是提示密码或用户名错误，就没有再管这些了。
前几年充了充电，又认真学习了一些数学，对算法的理解加深了非常多。回看原来写的教程，真是有些惨不忍睹，呵呵。深度和广度都不够，也没有图形辅助理解，有点像旧时代的教材了。
近些日子比较空闲，准备做一些计算机的算法视频，于是就决定重做一下小波系列的讲座。将JPEG2000的EZW,EBCOT编码 等等 以及小波的一些应用 加入。
做这套视频的目的: 1.帮助和我同样的自学者. 2.赚一些小钱
感觉有些算法光靠自学,无人指导，还是非常浪费时间的(不知道以自己目前水平，应该看什么书适合，书能在哪里找到，或者碰上一两个一时转不过弯的难点，又无人指点)，相信有很多朋友会有同感，故决定将一些公开的算法作成视频讲座，呵呵，因为每个算法我都是买了大量资料，花费很多时间学习的，又精心提取出知识点，尽量用通俗的思想去从直观上去解释，花费很多心血，故视频为收费视频，主要针对公司或企业员工等知道劳动幸苦的人。 若有想免费索取并免费索取不到的人，请口下留德
旧的文档版（有一些图形找不到了 重新做了一下） 可以随意下载
小波分析系列讲座0
本节之所以称为讲座0 因为它只是一个很简单的例子 还谈不上正式入门 但他具备了部分的思想
[x0,x1,x2,x3]=[90,70,100,70]
为达到压缩 我们可取 (x0+x1)/2 (x0-x1)/2 来代表 x0,x1
这样 [90,70] 可表示为 [80,10] 80即平均数 10是小范围波动数（可想象出一种波的形状）
[90,70] --〉[80,10] , [100,70] --〉 [85,15]
可以想象80 和85 都是局部的平均值 反映大的总体的状态 是变化相对缓慢的值 可以认为他们是低频部分的值
而10、15是小范围波动的值 局部变换较快 可以认为他们是高频部分的值
FIRST: 把[90,70,100,70] 写成 [80,85,10,15] 即把低频部分写在一起(记频率L） 高频部分写在一起（H)
SECOND: 而[80,85] 又可经同样的变换--> [82.5, -2.5] 这样 82.5表示更低频的信息(记频率LL) -1.5则表示了频率L上的波动
最后90,70,100,70] --〉[82.5, -2.5, 10, 15] 这样信息就可被压缩了（数字范围小了）
---这就是二级变换 同样的你可以进行更高级的变换 呵呵 很简单吧
现在再来扩展一下
[90,70]---> [80,10] 写成矩阵
[90,70] * [1/2, 1/2]
[1/2 ,-1/2]
如果是[90,70,100,70] 第一步就可写成矩阵M1
[1/2, 0, 1/2, 0 ]
[1/2, 0, -1/2, 0 ]
[0, 1/2, 0, 1/2]
[0 , 1/2, 0, -1/2]
第二步 只对低频 L操作 高频不变 故可写成M2
1/2, 1/2, 0, 0
1/2, -1/2, 0, 0
0, 0, 1, 0
0, 0, 0, 1
令M=M1*M2 则可对4*4 的点阵操作
同样 你可轻易写出 16*16的点阵矩阵
试着对一幅图像操作一步步运算 看看其结果
第一步运算后 原图像缩小至左边一半了 右边的是对应波动信息
第二步运算后 图像又缩小至左边一半了 对应波动信息
刚才我们仅仅对行变换 如果同时对列变换 结果如何呢 自己试吧 呵呵
方式1： 对每一次行变换后对列变换 交叉进行
方式2： 对行变换后对列变换 独立进行
事物的不变性（或缓慢变化）和快速变化性 信息分离 再分离
------------feathersky
小波分析系列讲座1—初见小波
[90,70,100,70] --〉[82.5, -2.5, 10, 15]
82.5 即4个数的平均数 可画出其对应波形如F.1 其他数字对应相应波形 （请稍微思考一下为什么及这些波形特点） 好了 思考后请画出8个点阵的对应波形 （如是新手，一定要亲手作作） 以后我们将使用这些波深入学习
在这里我们称这些图形为波, 与常见的SIN波不同 呵呵 可能不习惯
我举几个重要特性：
面积特性：保持变换前后能量不变 （常如此，但非必须）
平移特性 （可对不同部分使用同一操作）
伸缩特性 （将操作对象的尺度变大或变小）
空间表示的信息完整性 （最少用几个波就可以表示这个向量呢，波表示的数的含义，波之间可以替换吗，有其他形式的波吗 其他形式的波能用更少的数量来表示这个向量吗）
等等
等好好思考了这些特性后，我们下一节将学习正交基，空间表示等
------------feathersky
小波分析系列讲座2
若一物体可用颜色和大小表示，我们称颜色和大小为特征基，构成此物体特征描述空间。
大小和颜色是互不相干的2种描述，我们称其为正交。同时若这些基的能够完全表示
所有物体，我们称其为完备特征基。若特征基完备且正交，人们就可以在特定特征上对比事物
而不受其他特征上的信息干扰，但由于人们的认知形成过程，特征基并非完全正交。
例三唯空间的一个基的组合[1,0,0] [0,1,0] [0,0,1] 是正交 完备
[1,0,0] [0,1,0] [0,1,1] 完备 但不正交 因为[0,1,1]上的信息有一部分可以由[0,1,0]基表示
再来看特征描述空间转换的性质：
[x1,x2,x3,x4]构成向量空间，若四元变量无任何约束，则转换到任意特征描述空间，
最少需要4个特征基才能完备描述。
若f(x1)->x2, g(x1)->x3 则我们可用新的特征基x1,规则f and g, x4 这样就只需要3个
特征基就可完备描述，因为特征基表现了物体特征，因而可以用更简洁的描述表示物体。
那么在图象中[x1,x2,x3,x4]为何可被压缩呢，他们也是自由变化的参数呀（想想）
呵呵 虽然他们自由变化，但从自然图片邻近点的相关性，我们可知在大概率上
x1,x2,x3,x4相近（这样理论上只要1个x1就够了），于是我们用相应特征波形将其压缩，
这样在大概率上数据就得到了压缩。由于我们这种方法采取的特征基，
也决定了对突变边缘变换后的效果。（大家可以试试，要多动手，呵呵，懒人！
简单分析就可得出对突变边缘变换后的特征效果，这样就可以检测突变）
不知道大家画出8个点的波形了吗，我现在按频率称这些波形为LLL,LLH,LH,LH,H,H,H,H
(L:low frequence, H high frequence)
First: 4 L +4 H
Second: 4 L-> 2 LL + 2 LH
THIRD: 2 LL-> LLL + LLH
现在请把他画成树的形状，然后研究分辨率的关系和特征基的关系及特征空间的关系
------------feathersky
小波分析系列讲座3
呵呵 现在任给一函数f(x) , 我们怎么知道小波级数可以无限逼近这个函数呢
我们想象 任给beta>0,可以将f(x)曲线按每beta长度分成很多小段，对应很多点
若我们可以用一函数g(x)来拟合这些点，那么g(x)和f(x)在任意x上的误差将小于beta.
若点数量为2^n个 那么我们就可以分别用2^(n-1)个L波和2^(n-1)个H波拟合
然后可将L波再分解，最后得到一棵树 （分解的级数由你决定）
（如果f(x)对应的点数为2^(n+1),那么我们需要在已有的基础上如何做呢）
这时可能有人感到奇怪，为什么要不停的分解下去 呵呵
让我们看看1个L和相应1个H代表的意思，他代表很小的一段上的信息
若是我们一眼看着这么多的小段信息（不画出其曲线），我们可能就晕了
小波变换的精髓就是：对于变化平缓的信息（对应低频信息），我们在大范围（尺度）上观察
对于变化很快的信息（对应高频信息），我们在小范围上观察。
想一想 我们的小波变换是不是代表这个意思呢 呵呵
这也被称为多尺度或多分辨率思想
（说明 我在此说的f(x)可被拟合是要有一定条件的，严格的证明以后会给出）
现在我们将任一形状的波形经伸缩变换，平移变换 叠加后得到一曲线
可以想象 若我们还用原来的波形来拟合它，明显没有用此波形来拟合它更好
这告诉我们小波的形状也不是固定不变的 它的形状的选取由你要分析的特征决定
例如 [x1,x2,x3,x4] 若知道 x2=2*x1 +/- error , x3=3*x1 +/- error , |error|<2
请你动手画出对应波形 并且注意怎样反变换回去（这点很重要）
------------feathersky
小波分析系列讲座4
总结一下前面所讲的内容思想
任何一个事物都对应着多个描述空间（从不同角度观察），每个描述空间都由自身的特征描述基构成，若这些特征基可 以描述出S中不同事物，则称特征基在S中是完备的。若这些特征基两两之间不相关，则称其为正交。当然完备并不要求正交，正交的好处在于每个特征基上描述的 信息和其他特征基不相关。从而消除了信息的冗余（部分重复）表示。
--描述空间也称描述域。不同特征基也有不同描述和运算规则。
故此我们可以将事物在A描述空间上的特征转为在B空间（也成变换域）的特征，从而更符合于我们的观察或认知角度。
传统的傅里叶变换即是引入无穷余玄基和正玄基来无穷逼近L2空间中的函数。因余玄基和正玄基的许多优秀性质而被广泛应用。
在图像压缩中，我们就是利用了图像数据的特性，将其转化为符合其特性描述的空间上，从而更好的描述了图像而达到压缩的目的。
而自然图像的数据特性就是其中相邻的象素点的颜色在一个大的概率上相关，否则我们将要看到一片颜色乱变的点。
对此，我们引入图像的频域的描述空间概念，对于大范围内平缓变化的信息，我们称其为低频信息，对于小范围内变化很快的信息，我们称其为高频信息，并将这些信息对应频域上的数值。低频和高频信息完全在于人为，并不一定要有统一形式。
离散傅里叶变换即是这样一种变换。它以变化平缓的波来描述低频信息，以变化快速的波来描述高频信息。因自然图像相关性，故低频信息描述了整体的信息，而高频信息描述了局部细节。由此知，大部分高频信息的值应该在一个较小的范围内，再结合其他特性，进行压缩。
但傅里叶变换存在一些不足。例如，要想取得较好的低频信息，我们需要相对较长的变换窗口，而要想取得较好的高频信息，我们又需要较短的窗口。(非常短窗口的低频信息和非常长窗口的高频信息都几乎没什么很大的意义) , 这样就引起一对矛盾。
小波变换应运而生，为了解决傅里叶变换的不足，它就需要用长窗口来提取低频信息，用短窗口来提取高频信息。那么它是如何做的呢
正如第0节讲到的变换，它就满足了这个要求。它也就是haar小波变换。
------------feathersky
小波分析系列讲座5
以图像来说明建立空间特征基和小波变换的关系
设有一幅图像，从不同分辨率考察。
若我们离很远来看，可能会把每64个点看作一个点，若记此时构成的描述空间为V0.
若走进一些，把16个点看作一个点，记此时构成的描述空间为V1
若再走进一些，把4个点看作一个点，记此时构成的描述空间为V2
若再走进一些，把1个点看作一个点，记此时构成的描述空间为V3
则可知凡是Vi空间内可以描述的图像，Vi+1空间内皆可描述,并且描述的更细致
故Vi包含于Vi+1空间
记Vi+1=Vi+Wi ,即Vi和Wi构成Vi+1空间。（若Vi⊥Wi ，则Wi为Vi的正交补空间，实际应用中不要求一定正交。）( ⊥ 正交)
则Vi+1=Vi+Wi=Vi-1+Wi-1+Wi=……
记Pi为图像在Vi空间的描述
则Di= Pi+1 - Pi 就表示了图像在这两个描述空间的细节差异，因为Vi+1=Vi+Wi，故Di为图像在Wi空间上的描述。即Wi空间表述了细节差异。如果Wi⊥Wj, 并且在Wj空间中能找到一组正交标准基，其基本函数必是高（带）通的，就称其为小波函数。
Wi⊥Wj正交，即为不同分辨率下的细节差异不相关，从而消除冗余。
那么例子中V3=W2+W1+W0+V0
相应得到 P3=D2+D1+d0+P0
即最清晰分辨率下的图像可以有不同分辨率下的细节差异和最高分辨率下的图像合成而得
由概率特性知细节差异在大范围内是一个较小的值。
如果用上节所引入的频域概念来看，低频信息就是P0,高频为Di,这里的低频和高频就和傅里叶有稍微不同。而从分析中，我们自然而然的知道随着频率的不同，其数值对应的空间窗口大小也不同了。正好满足上节所说。
呵呵，剩下的分析任务就是如何构造Wi
------------feathersky
小波分析系列讲座6--双尺度差分方程及滤波器
在上节所讲的Vi+1=Vi+Wi中 V就是尺度空间，即我们观察事物所采用的尺度，也就是分辨率。
W就是细节空间，即不同尺度空间观察事物的差异。
并且知道 一幅图像=最低分辨率下图像+不同细节空间的细节信息即
一幅图像=系数 * 尺度基 + 系数 * 细节空间基 在Harr小波中若一个事物可用如下2个尺度基描述（尺度相同，位移不同） 记为1尺度 那么当我们用一个大尺度基描述时（即取平均），就会有一个失真 记为0尺度 此细节差异就对应描述基如下（补空间基）
正如富里叶变换是将一个周期函数用无穷项正玄或余玄基逼近，小波变换是将一个函数 以小波基来逐级逼近。富里叶变换是以ejwt 为核进行积分，小波变换以小波基为核进行积分. 函数W(x) 为母小波，那么通过尺度变换和平移变换，可得到不同小波基记为Wa,b=| a |-1/2 W( (x-b) /a ) 因为我们希望小波级数能无条件收敛，故母小波应满足一些条件
1. 小波函数值的绝对值在整个R上是可积的 L1函数空间即小波函数在无穷大处的值应该趋向于0，保证收敛性
2. 小波函数值的平方值在整个R上是可积的 L2函数空间即小波函数的能量也是一个有限值，否则就将一个有限能量函数变换到无限能量级数上，其级数很难收敛 当然母小波和被变换函数还应该满足一些其他条件，以保证反变换存在，否则意义也不大。
在实际应用中，我们经常使用离散的2进小波变换。即尺度是2 j , 位移是k Wj,k= 2 j/2 W ( 2 j x- k ) 构造二进小波函数和尺度函数的方法 Vn空间中，设S (x)是一个尺度基，则S (x-k) 对应着不同位移的尺度基,所有这些尺度基构成L2函数空间n尺度下的完备基。 Vn+1空间中，S(2x)是一个尺度基，则S(2x-k) 对应着不同位移的尺度基,所有这些尺度基构成L2空间n+1尺度下的完备基。
如上Harr小波图 n+1尺度是比n尺度更精细的空间，而Vn空间属于Vn+1空间，故Vn空间中的基可用Vn+1空间中的基表示即 S (x)= ∑ Pk * S (2x-k) Pk 是系数。 对应的有其补空间基 W (x)= ∑ Qk * S (2x-k) Qk 是系数。 这就是著名的两尺度差分方程，它说明了Vn空间的基与Wn空间的基可由Vn+1空间的基经过某种方式滤波产生（简单的说 就是可由Vn+1空间的基乘以不同系数）。
从而我们只需求出系数，就可以由尺度函数生成小波函数。（有些书上，也把Vn称作 小波）。此处再次思考一下概念，我们就更明白了多分辨率小波分析用不同尺度观察事物的思想。 其对应滤波器图如下 通过2个滤波器P, Q 将信号分解，然后通过其(逆)共轭滤波器P*, Q*进行合成. 所谓滤波过程可以简单的认为就是将信号乘以一些系数
例上述harr小波两尺度差分方程为
S (x)= 1/2 * S (2x)+ 1/2 * S (2x-1)
W (x)= S (2x) - S (2x-1)
对应滤波器系数如图就很明了了。
P =[1/2 , 1/2 ]
Q =[1, -1]
P*=[1, 1 ]T
Q*=[1/2, -1/2 ]T
依图所示，
我们有如下关系
Sj-1 = Sj * P
Dj-1 = Sj * Q
Sj = Sj-1 * P* + Dj-1 * Q* 对于双正交滤波器，
信号Sj-1 与 Dj-1 不相关那么P 应该可以无损的重构信号 ，故 P * P* = I ( 单位矩阵) 同理 Q * Q* = I ( 单位矩阵) 经Q滤波后的信号 如果经P* 重构后，值应该为0，保证2滤波器正交， Q * P* =0 同理 P * Q*=0 为使Sj能够重构 我们很容易验证上面Harr小波的滤波器系数这也说明了小波变换与滤波器的关系
-----FEATHERSKY
小波分析系列讲座7—提升法的实现
基于提升方法(lifting scheme)的小波变换.
提升法被称为第二代小波，可见其重要性。
下面先举一个Harr小波的例子。
在一序列中有相邻数据 a, b 我们计算出其低频l = (a+b)/2 高频 h =b-a
如果不引入新数据，仅对a ,b 更新， 可写作 b - =a , a+=b/2
这样我们发现其可在自身位置上完成小波变换，而且还大大简化了计算过程（在复杂的变换中更明显）。
仔细分析，我们知道b是差异高频，它是当前值及前一个值对当前值的预测差，然后低频a ，由当前值及差异计算出。这样就提供了我们一个新思想。
提升法的是实现步骤。
1． 分裂：将原始信号Sj分裂成Sj-1（保存低频数据部分） 和 Dj-1（保存高频数据部分）
2． 预测：用Sj-1预测Dj-1，并计算出预测差作为高频数据，保存于Dj-1中
3． 更新：根据高频数据Dj-1 更新低频部分Sj-1
这样就完成了一次提升变换，呵呵，很简单吧，其逆变换可相应推导出。
为防止误解，这里指出的预测可以使用多个数据来预测一个数据。例下
Dk - = ( Sk+Sk+1 ) /2
Sk + = (Dk+ Dk+1) /4
你也可以结合上节所讲的滤波器，构造出更多的提升小波变换。
------------feathersky
