人工神经网络(Artificial Neural Netwroks)笔记-径向基函数(Radial Basis Function- RBF)
RBF 网络起源于数值分析中的多变量插值的径向基函数方法，其所具有的最佳逼近特性是传统BP 网络所不具备的。
三层的RBF 网络具有可以逼近任意函数的能力。
假设网络中的输入节点隐层节点输出节点数分别为N,L,M 。隐含层的作用是对输入模式进行变换将低维的模式输入数据转换到高维空间内以利于输出层进行分类识别。
最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。
核函数中心可以通过K-Means聚类算法来得到聚类的中心向量，而σ其实就是聚类中心的半径了。这个半径等于聚类中心向量和属于该类的样本之间的距离的平均值。
当每个隐层单元对应的中心矢量和半径已经确定后, 网络结构中的未知参数只剩下输出单元的线性权值和阈值。
线性权值和阈值的调整，可以采用BP网络中的最速梯度下降法。
上面那部分本来是我的草稿，因为对于RBF还有一点疑惑，后来再看了一些相关的论文，发现完全就是SOM网络和BP网络的整合版本。
先说一下获取核函数中心的部分，完全可以利用SOM网络对样本进行聚类得到核函数中心。
然后权值的调整就简单了 既然上面已经说了可以利用BP网络的最速梯度下降的话。。。那么和BP网络有什么差异吗？这个过程就变得完全一致了。当然这个过程我会选择用PSO粒子群来完成。
我在 《神经网络原理》 一书中看到另一个方法，通过一个矩阵的转至能够直接 权重的值。。暂时不知道为何。
还有 很多的论文中提到 正交最小二乘方法。。。不知道是我的问题还是论文的问题。。。每个论文都不太一致。。。暂时没有明白这个方法是啥回事。
OVER
PS:
完全是自己写给自己看的。。学习的思考记录。。^_^
三层的RBF 网络具有可以逼近任意函数的能力。
假设网络中的输入节点隐层节点输出节点数分别为N,L,M 。隐含层的作用是对输入模式进行变换将低维的模式输入数据转换到高维空间内以利于输出层进行分类识别。
最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。
核函数中心可以通过K-Means聚类算法来得到聚类的中心向量，而σ其实就是聚类中心的半径了。这个半径等于聚类中心向量和属于该类的样本之间的距离的平均值。
当每个隐层单元对应的中心矢量和半径已经确定后, 网络结构中的未知参数只剩下输出单元的线性权值和阈值。
线性权值和阈值的调整，可以采用BP网络中的最速梯度下降法。
上面那部分本来是我的草稿，因为对于RBF还有一点疑惑，后来再看了一些相关的论文，发现完全就是SOM网络和BP网络的整合版本。
先说一下获取核函数中心的部分，完全可以利用SOM网络对样本进行聚类得到核函数中心。
然后权值的调整就简单了 既然上面已经说了可以利用BP网络的最速梯度下降的话。。。那么和BP网络有什么差异吗？这个过程就变得完全一致了。当然这个过程我会选择用PSO粒子群来完成。
我在 《神经网络原理》 一书中看到另一个方法，通过一个矩阵的转至能够直接 权重的值。。暂时不知道为何。
还有 很多的论文中提到 正交最小二乘方法。。。不知道是我的问题还是论文的问题。。。每个论文都不太一致。。。暂时没有明白这个方法是啥回事。
OVER
PS:
完全是自己写给自己看的。。学习的思考记录。。^_^
