摘要：任务：在这个问题中，你将实现稀疏自编码器算法，并且展示它怎么发现边缘是自然图像的一个好的表示。 在文件sparseae_exercise.zip中，我们已经提供了一些Matlab中的初始代码，你应该将你的代码写在文件中的”YOUR CODE HERE“下面。你必须完成以下文件：samplesIMAGES.m, sparseAutoencoderCost.m,computeNumericalGradient.m.在train.m中的开始代码展示了这些函数是怎样被使用的。 明确地，在这个练习中你将实现一个稀疏自编码器，用8×8的图像块，使用L-BFGS最优化算法训练的。第一步：产生训练集 阅读全文

摘要：randi Pseudorandom integers from a uniform discrete distribution.来自一个均匀离散分布的伪随机整数 R = randi(IMAX,N) returns an N-by-N matrix containing pseudorand... 阅读全文

摘要：训练完（稀疏）自编码器，我们还想把这自编码器学习到的函数可视化出来，好弄明白它到底学到了什么。我们以在10×10图像（即n=100）上训练自编码器为例。在该自编码器中，每个隐藏单元i对如下关于输入的函数进行计算：我们将要可视化的函数，就是上面这个以2D图像为输入，并由隐藏单元i计算出来的函数。它是依... 阅读全文

摘要：目前为止，我们已经讨论神经网络在有监督学习中的应用。在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带标签的训练样本集合 ，其中 。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如 。下图是一个自编码神经网络的示例。 自编码神经网络尝试学习一... 阅读全文

摘要：众所周知，反向传播算法很难调试得到正确结果，尤其是当程序存在很多难于发现的bug时。距离来说，索引的缺位错误（off-by-one error）会导致只有部分层的权重得到训练，再比如忘记计算偏置项。这些错误会使你得到一个看似十分合理的结果（但实际上比正确代码的结果要差）。因此，但从计算结果上来看，我... 阅读全文

摘要：假设我们有一个固定样本集，它包含 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例（x,y），其代价函数为：这是一个（二分之一的）方差代价函数。给定一个包含 个样例的数据集，我们可以定义整体代价函数为：以上公式中的第一项 是一个均方差项。第二项是一个规则化项（也叫权重衰减项... 阅读全文

摘要：概述以监督学习为例，假设我们有训练样本集(x(i),y(i)),那么神经网络算法能够提供一种复杂且非线性的的假设模型hw,b(x),它具有参数W，b，可以以此参数来拟合我们的数据。为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个神经元的图示：这个“神经... 阅读全文

摘要：9.3、Restricted Boltzmann Machine (RBM)受限玻尔兹曼基假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值变量节点（只能取0或者1值），同时假设全概率分布p(v,h)满足Boltzmann... 阅读全文

摘要：九、Deep learning的常用模型或者方法9.1、AutoEncoder自动编码器Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，的都每一层中的权重。自... 阅读全文

摘要：K-means聚类算法K-means聚类算法也是聚类算法中最简单的一种了，但是里面包含的思想却不一般。聚类属于无监督学习。在聚类问题中，给我们的训练样本是，每个，没有了y。K-means算法是将样本聚类成k个簇（cluster），具体算法描述如下：1、 随机选取k个聚类质心点（cluster cen... 阅读全文

摘要：深度学习（deep learning）思想就是堆叠多个层，也就是说这一层的输入作为下一层的输出。通过这种方式，就可以实现对输入信息进行分级表达了。浅层学习和深度学习（shallow learning and deep learning）浅层学习时机器学习的第一次浪潮：BP算法（Back Propag... 阅读全文

摘要：梯度下降法时基于这样的观察：如果是函数F（x）在点a处可微且有定义，那么函数F（x）在a点沿着梯度相反的方向-▽F（a）下降最快。因而，如果b=a-γ▽F（a）对于γ>0为一个够小数值时成立，那么F（a）≥F（b）。考虑到这一点，我们可以从函数F的局部极小值的初始估计x0出发，并考虑如下序列x0,x... 阅读全文