小波神经网络（WNN）

人工神经网络（ANN）

是对人脑若干基本特性通过数学方法进行的抽象和模拟，是一种模仿人脑结构及其功能的非线性信息处理系统。

具有较强的非线性逼近功能和自学习、自适应、并行处理的特点，具有良好的容错能力。

人工神经元

神经元是构成神经网络的最基本单元。要想构造一个人工神经网络系统，首要任务是构造人工神经元模型。

一个人工神经网络的神经元模型和结构描述了一个网络如何将它的输入矢量转换为输出矢量的过程。

 

一个神经元有两个输入：输入向量p，阈值b，也叫偏差。

输入向量p通过与它相连的权值分量w相乘，求和后，形成激活函数f(.)的输入。激活函数的另一个输入是神经元的阈值b。

权值w和输入p的矩阵形式可以由w的行矢量以及p的列矢量来表示：

 

 神经元模型的输出矢量可以表示为：

 

激活函数是一个神经元及网络的核心。

激活函数的基本作用是：

1、控制输入对输出的激活作用；

2、对输入、输出进行函数转换；

3、将可能无限域的输入变换成指定的有限范围内的输出。

激活函数的常用类型：

 

 

 

小波（wave/let）：波-震荡，小-衰减速度比较快。

小波分析具有多分辨分析的特点，是一种窗口大小固定不变但其形状可以改变的分析方法，被称为信号的显微镜。

小波分析的种类：Haar小波规范正交基、Morlet小波、Mallat算法、多分辨分析、多尺度分析、紧支撑小波基、时频分析等。

小波神经网络（WNN）

集人工神经网络和小波分析优点于一身，即使网络收敛速度快、避免陷入局部最优，又有时频局部分析的特点。

WNN是将神经网络隐结点的S函数由小波函数来代替，相应的输入层到隐含层的权值及隐含层的阈值分别由小波函数的尺度伸缩因子和时间平移因子所代替。