随笔分类 - Artificial Neural Netwroks(人工神经网络)
摘要：在 人工神经网络(Artificial Neural Netwroks)笔记-消除样本顺序的BP算法 一文的下面提到了几个要讨论的问题 其中 “局部极小点问题，如何逃离或者避开局部极小点呢？”这个问题可以通过模拟退火算法(Simulated Annealing) 来提高逃离局部极小点向全局最优点进发的可能性。人工神经网络(Artificial Neural Netwroks)笔记-粒子群优化(Pa...
阅读全文
摘要：RBF 网络起源于数值分析中的多变量插值的径向基函数方法，其所具有的最佳逼近特性是传统BP 网络所不具备的。三层的RBF 网络具有可以逼近任意函数的能力。假设网络中的输入节点隐层节点输出节点数分别为N,L,M 。隐含层的作用是对输入模式进行变换将低维的模式输入数据转换到高维空间内以利于输出层进行分类识别。最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||...
阅读全文
摘要：关于粒子群优化的内容可以通过搜索得到。下面主要是个人对于粒子群优化的一点理解，以及应用于BP神经网络中做权重的调整原文在：http://baike.baidu.com/view/1531379.htm引用下面一些内容===============我是引用的分界线=================粒子根据如下的公式来更新自己的速度和新的位置 v[] = w * v[] + c1 * rand() *...
阅读全文
摘要：在上一篇文章 《人工神经网络(Artificial Neural Netwroks)笔记-消除样本顺序的BP算法 》中 修改权重的方法被称为"最速下降法"。每一次权重的修改都是确定的，权重都会被修改。甚至到最简单的单层感知器也是如此。但是我们有一个疑问，是否每一次的权重修改都是好的呢？虽然"最速下降法"能在数学上被证明是每一次都比前一次越来越逼近最优解，但是这个逼近可是一个无休止的过程。而且面对局...
阅读全文
摘要：花了一个多星期的时间在重新学习 人工神经网络(Artificial Neural Netwroks)关于人工神经网络(Artificial Neural Netwroks)的介绍以及应用可以通过网络获得在我的笔记中主要关于多个算法流程是如何实现的“读书每有所得必记录之” 某人说的，因此我也诞生了下面的笔记和大家分享人工神经网络(Artificial Neural Netwroks)笔记-离散单输出...
阅读全文
摘要：人工神经网络(Artificial Neural Netwroks)笔记-基本BP算法 上文中已经提到“基础BP算法“偏爱”较后出现的样本，因此较后出现的样本对网络影响较大”本文将记录如何消除这个影响用(X1,Y1),(X2,Y2),....(Xs,Ys)的总效果丢该 W^(1),W^(2),...W^(L)△W^(K)ij=∑△pW^(k)ij只是替换了原来的简单修改权重矩阵那部分具体算法流程如...
阅读全文
该文被密码保护。
摘要：人工神经网络(Artificial Neural Netwroks)笔记--离散多输出感知器训练算法 中的2.1.3步是多个判断，因此我们说它是一种离散多输出感知器现在采用公式 Wij=Wij+α(Yj-Oj)Xi取代了那个步骤Yj和Oj之间的差别对Wij的影响由α(Yj-Oj)Xi表现出来这样做的好处是不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽算法流程如下：1.用适当的小伪随...
阅读全文
该文被密码保护。
摘要：最近在重新学习人工神经网络(Artificial Neural Netwroks)，做做笔记，整理思路离散单输出感知器算法，传说中的MP二值网络：自变量及其函数的值、向量分量的值只取0和1函数、向量权向量：W=(w1,w2,w3.....wn)输入向量：X=(x1,x2,x3.....xn)训练样本集{(X,Y)|Y为输入向量X的输出}训练过程比较简单如下：1，初始化权向量W2，重复下列过程，直到...
阅读全文