随笔分类 -  BP神经网络

BP神经网络测试MNIST记录
摘要：约定： 所有的初始化权值范围，如下，就是说更换激活函数的情况，没有过大的调整初始权重。 1 if(randomMode==1): 2 numpy.random.seed(seedWih) 3 self.wih = numpy.random.rand(self.hNodes, self.iNodes) 阅读全文
posted @ 2019-03-28 22:04 大浪淘沙、 阅读(235) 评论(0) 推荐(0)
优化神经网络的方法，加速训练
摘要：1.BGD法。batch gradient descent批梯度下降 2.SGD法。stochastic gradient descent随机梯度下降，也称MBGD minibatch gradient descent 3.Momentum法。模拟动量 4.Nesterov Momentum法，对3 阅读全文
posted @ 2019-03-21 20:31 大浪淘沙、 阅读(623) 评论(0) 推荐(0)
BP神经网络的参数改进参考？
摘要：参考文献：黄巧巧. 基于BP神经网络的手写数字识别系统研究[D].华中师范大学,2009. 47-52 BP神经网络的缺陷：收敛速度慢和局部极小点的问题 使用的改进方案有 1. 学习速率（learning rate）的改进 1.1在训练开始时采用较大的学习速率，在迭代训练时将学习速率减小。 1.2自 阅读全文
posted @ 2019-02-07 00:07 大浪淘沙、 阅读(661) 评论(0) 推荐(0)
BP神经网络的数学常识
摘要：输入数据X1-Xn。 输入层和隐层之间的权Wji 隐层的输入数据为：∑iwjixi 隐层的输出数据为：yj = f(∑iwjixi)。其中f(x)= 隐层的输入数据为：∑jwkjyj 隐层的输出数据为：yk = f(∑jwkjyj)。。其中f(x)= 对应到代码中的query部分。 训练神经网络时， 阅读全文
posted @ 2019-02-06 16:50 大浪淘沙、 阅读(202) 评论(0) 推荐(0)
BP神经网络的理论理论常识
摘要：BP神经网络的简单结构：输入层、一个或者多个隐层、输出层。图如下： 在图中，涉及到的参数有：X1--Xn为输入参数。输入参数通过输入层和隐层之间的的链接权重进行计算，到达隐层。 隐层的输入参数通过隐层自带的激活函数到达隐层的输出参数 隐层的输出参数通过隐层和输出层的链接权重进行计算到达输出层的输入 阅读全文
posted @ 2019-02-06 16:04 大浪淘沙、 阅读(375) 评论(0) 推荐(0)
BP神经网络在python下的自主搭建梳理
摘要：本实验使用mnist数据集完成手写数字识别的测试。识别正确率认为是95% 完整代码如下： 1 #!/usr/bin/env python 2 # coding: utf-8 3 4 # In[1]: 5 6 7 import numpy 8 import scipy.special 9 import 阅读全文
posted @ 2019-02-06 15:27 大浪淘沙、 阅读(549) 评论(0) 推荐(0)