随笔分类 -  Deep learning/深度学习

深度学习笔记
基于theano的降噪自动编码器（Denoising Autoencoders--DA）
摘要：1.自动编码器自动编码器首先通过下面的映射，把输入$x\in[0,1]^{d}$映射到一个隐层$y\in[0,1]^{d^{'}}$（编码器）：$y=s(Wx+b)$其中 $s$ 是非线性的函数，例如sigmoid. 隐层表示 $y$ ,即编码然后被映射回（通过解码器）一个重构的 $z$,形状与输入... 阅读全文
posted @ 2015-04-29 11:33 90Zeng 阅读(3229) 评论(2) 推荐(0)
基于theano的深度卷积神经网络
摘要：1.引言卷积神经网络（Convolutional Neural Networks , CNN）受到视网膜上的细胞只对视野范围内的部分区域敏感，这一部分区域称为感受域（receptive field）.卷积神经网络正是采用了这种机制，每一个神经元只与一部分输入相连接。2.稀疏连接CNNs通过局部连接的... 阅读全文
posted @ 2015-04-28 01:25 90Zeng 阅读(4317) 评论(0) 推荐(1)
基于theano的多层感知机的实现
摘要：1.引言一个多层感知机（Multi-Layer Perceptron，MLP）可以看做是，在逻辑回归分类器的中间加了非线性转换的隐层，这种转换把数据映射到一个线性可分的空间。一个单隐层的MLP就可以达到全局最优。2.模型一个单隐层的MLP可以表示如下：一个隐层的MLP是一个函数：$f:R^{D}\r... 阅读全文
posted @ 2015-04-26 11:13 90Zeng 阅读(2167) 评论(4) 推荐(0)
深度学习实现彩色图像特征提取：线性解码器
摘要：在前面的讨论中，用到的激励函数都是sigmoid函数：以为最终的输出层所有输出的范围是[0,1],而我们在自编码学习的动机就是使得输出等于输入，于是所有输入必须调整到[0,1]范围内，但是问题来了，有些数据集输入范围容易调整，比如Minist，但是PCA白化处理的输入并不满足[0,1],所以需要找到... 阅读全文
posted @ 2014-10-26 12:37 90Zeng 阅读(3990) 评论(0) 推荐(0)
深度网络实现手写体识别
摘要：基于自动编码机（autoencoder）,这里网络的层次结构为一个输入层，两个隐层，后面再跟着一个softmax分类器:采用贪婪算法，首先把input和feature1看作一个自动编码机，训练出二者之间的参数，然后用feature1层的激活值作为输出，输入到feature2,即把feature1和f... 阅读全文
posted @ 2014-10-23 10:45 90Zeng 阅读(5671) 评论(0) 推荐(3)
PCA和白化练习之处理图像
摘要：第一步：下载pca_exercise.zip，里面包含有图像数据144*10000，每一列代表一幅12*12的图像块，首先随见展示200幅：第二步：0均值处理，确保数据均值为0或者接近0第三步：执行PCA，将原始数据映射到不同的特征向量方向上去第四步：验证上面PCA计算出来结果是否正确，若果正确的话... 阅读全文
posted @ 2014-10-20 17:38 90Zeng 阅读(6194) 评论(2) 推荐(0)
PCA和白化练习之处理二维数据
摘要：在很多情况下，我们要处理的数据的维度很高，需要提取主要的特征进行分析这就是PCA（主成分分析），白化是为了减少各个特征之间的冗余，因为在许多自然数据中，各个特征之间往往存在着一种关联，为了减少特征之间的关联，需要用到所谓的白化（whitening）.首先下载数据pcaData.rar，下面要对这里面... 阅读全文
posted @ 2014-10-20 15:10 90Zeng 阅读(3957) 评论(2) 推荐(0)
稀疏自动编码之练习
摘要：从10幅图像中采样出10000幅小图像块，每个小图像块大小是8*8,利用采样出的图像作为样本学习，利用LBFGS进行优化.下面是对10幅图像白化之后的结果：train.m%% CS294A/CS294W Programming Assignment Starter Code% Instructio... 阅读全文
posted @ 2014-10-17 16:51 90Zeng 阅读(1968) 评论(1) 推荐(0)
稀疏自动编码之可视化自动编码器
摘要：对于训练出的一个稀疏自动编码器，现在想看看学习出的函数到底是什么样子。对于训练一个的图像，.计算每一个隐层节点 的输出值：我们要可视化的函数，就是这个以一副2D图像为输入，以为参数（忽略偏置项），由隐层节点计算出来的函数。特别是，我们把看作是输入的非线性特征。我们很想知道：什么样的的图像能使得成为最... 阅读全文
posted @ 2014-10-14 15:34 90Zeng 阅读(1888) 评论(0) 推荐(0)
稀疏自动编码之自动编码器和稀疏性
摘要：到目前为止，已经叙述了神经网络的监督学习，即学习的样本都是有标签的。现在假设我们有一个没有标签的训练集，其中. 自动编码器就是一个运用了反向传播进行无监督学习的神经网络，学习的目的就是为了让输出值和输入值相等，即.下面就是一个自动编码器：自动编码器试图学习一个函数. 换句话说，它试图逼近一个等式函数... 阅读全文
posted @ 2014-10-14 10:55 90Zeng 阅读(4602) 评论(0) 推荐(0)
稀疏自动编码之梯度检验
摘要：众所周知，反向传播算法很难调试和得到正确结果，特别是在执行过程中存在许多细小难以察觉的错误。这里介绍一种方法来确定代码中导数的计算是否正确。使用这里所述求导检验方法，可以帮助提升写正确代码的信心。假设我们想最小化关于的函数 . 对于这个例子，假设，所以. 在一维空间，梯度下降的一次迭代公式如下：假设... 阅读全文
posted @ 2014-10-13 10:10 90Zeng 阅读(1165) 评论(0) 推荐(0)
稀疏自动编码之反向传播算法（BP）
摘要：假设给定m个训练样本的训练集，用梯度下降法训练一个神经网络，对于单个训练样本(x,y)，定义该样本的损失函数：那么整个训练集的损失函数定义如下：第一项是所有样本的方差的均值。第二项是一个归一化项（也叫权重衰减项），该项是为了减少权连接权重的更新速度，防止过拟合。我们的目标是最小化关于W和 b 的函数... 阅读全文
posted @ 2014-10-12 23:34 90Zeng 阅读(3456) 评论(0) 推荐(0)
稀疏自动编码之神经网络
摘要：考虑一个监督学习问题，现在有一些带标签的训练样本(x(i),y(i)).神经网络就是定义一个复杂且非线性的假设hW,b(x)，其中W,b是需要拟合的参数.下面是一个最简单的神经网络结构，只含有一个神经元，后面就用下图的形式代表一个神经元：把神经元看作是一个计算单元，左边的x1,x2,x3(和 截距+... 阅读全文
posted @ 2014-10-11 10:26 90Zeng 阅读(3642) 评论(0) 推荐(1)