摘要： 使用了两个卷积层、一个全连接层和一个softmax分类器。 在测试数据集上正确率可以达到99.22%。 代码参考了neural-networks-and-deep-learning 阅读全文

摘要： 卷积神经网络是在BP神经网络的改进，与BP类似，都采用了前向传播计算输出值，反向传播调整权重和偏置；CNN与标准的BP最大的不同是：CNN中相邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层的部分神经单元，而不是像BP那样与所有的神经单元相连接。CNN的有三个重要 阅读全文

摘要： Sigmoid函数导数图像如下，函数最大值约为0.25 根据BP算法，每次更新的权值会是多层sigmoid prime的乘积，随着层数增多会越来越小。 ReLu函数 f(x)=max(0,x)，导数在x>0时为1，x<0时为0。 使用ReLu可以一定程度减小运算量，避免层数增加的问题。 下面代码中， 阅读全文

摘要： 防止输出层梯度饱和 1.sigmoid+交叉熵 均方误差做代价函数时，输出层反向传播的误差$$\delta ^{L} = (a-y)*{\sigma}'$$ 当sigmoid函数饱和时，即使a与y相差很大，传播误差也很小，造成前期训练速度很慢。 因此上一篇随笔中采用了交叉熵作为输出层代价函数。 2. 阅读全文

摘要： Sigmoid函数 当神经元的输出接近 1时，曲线变得相当平，即σ′(z)的值会很小，进而也就使∂C/∂w和∂C/∂b会非常小。造成学习缓慢，下面有一个二次代价函数的cost变化图，epoch从15到50变化很小。 引入交叉熵代价函数 针对上述问题，希望对输出层选择一个不包含sigmoid的权值更新 阅读全文

摘要： 在之前的随笔《非对称SVD电影推荐系统》中应用SVD，得到还不错的结果。 此次尝试将BP神经网络应用于预测用户评分，由于同类用户不同电影评分差异巨大，神经网络输出神经元不易设置。 仅取movie id=0 的用户作为测试数据(350 条记录），这样只需要5个输出神经元。movie id 共有三千多个 阅读全文

摘要： 代码为MNIST数据集上运行简单BP神经网络的python实现。 以下公式和文字来自Wanna_Go的博文 http://www.cnblogs.com/wxshi/p/6077734.html，包含详尽的描述和推导。 BP神经网络 单个神经元 神经网络是由多个“神经元”组成，单个神经元如下图所示： 阅读全文

摘要： PCA人脸识别中三种方法得到的正确率可达到100% 作为对比，单独使用Softmax回归对人脸40*10*92*112的数据分类正确率为97%。 用PCA对MNIST手写数字10*500*28*28识别，也可以达到相对比较高的正确率，马氏距离h=32时正确率为0.93 （在softmax中为0.85 阅读全文

摘要： 采用1M MovieLensz数据(80%train, 20%test, UserIDs range between 1 and 6040 ,MovieIDs range between 1 and 3952, From http://files.grouplens.org/datasets/mov 阅读全文

摘要： 人脸数据来自http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html 实现代码和效果如下。由于图片数量有限（40*10），将原有图片顺序打乱进行检测。 可见马氏距离效果最佳。 [以下公式和文字来自John Hany的博文 ht 阅读全文