摘要:1.基于能量的模型(Energy-Based Models,EBM)基于能量的模型(EBM)把我们所关心变量的各种组合和一个标量能量联系在一起。我们训练模型的过程就是不断改变标量能量的过程,因此就有了数学上期望的意义。比如,如果一个变量组合被认为是合理的,它同时也具有较小的能量。基于能量的概率模型通过能量函数来定义概率分布:(1)其中,正则化因子Z被称为配分函数:EBM可以通过对原始数据的负对数似然函数来运用梯度下降来完成训练。我们的过程也可以分为两步:1定义对数似然函数;2.定义损失函数。对数似然函数:损失函数就是负对数似然函数:2.含有隐含层的EBM在许多情况下,我们无法观察到样品的所有参 阅读全文
posted @ 2014-03-29 20:53 I know you 阅读(2698) 评论(0) 推荐(0) 编辑
摘要:受限波尔兹曼网络RBM是一个双层网络:可见层和隐含层。1. 概述 前面描述的神经网络模型是一种确定的结构。而波尔兹曼网络是一种随机网络。如何来描述一个随机网络呢?很多书上有大量的篇幅介绍其原理。这里把它总结为以下两点。 第一,概率分布函数。由于网络节点的取值状态是随机的,从贝叶斯网的观点来看,要描述整个网络,需要用三种概率分布来描述系统。即联合概率分布(多个条件同时满足的概率),边缘概率分布(高维变量中的低维变量的分布)和条件概率分布。要搞清楚这三种不同的概率分布,是理解随机网络的关键,这里向大家推荐的书籍是张连文所著的《贝叶斯网引论》。很多文献上说受限波尔兹曼是一个无向图,这一点也... 阅读全文
posted @ 2014-03-28 21:06 I know you 阅读(795) 评论(0) 推荐(0) 编辑
摘要:theano学习指南,主要翻译官方文档基础知识本学习指南不是一份机器学习的教程,但是首先我们会对其中的概念做一个简单的回顾,以确保我们在相同的起跑线上。大家还需要下载几个数据库,以便于跑这个指南里面的程序。theano下载安装在学习每一个算法的时候,大家都需要下载安装相应的文件,如果你想要一次下载所有的文件,可以通过下面这种方式git clone git://github.com/lisa-lab/DeepLearningTutorials.git数据库MNIST数据集(mnist.pkl.gz)MNIST数据集由手写的数字的图像组成,它分为了60,000训练数据和10,000个测试数据。在很 阅读全文
posted @ 2014-03-23 15:29 I know you 阅读(1032) 评论(0) 推荐(0) 编辑
摘要:theano学习指南3(翻译)-多层感知器模型 - xueliangliu - 博客园xueliangliu随笔 - 25, 文章 - 0, 评论 - 2, 引用 - 0theano学习指南3(翻译)-多层感知器模型本节要用Theano实现的结构是一个隐层的多层感知器模型(MLP)。MLP可以看成一种对数回归器,其中输入通过非线性转移矩阵$\Phi$做一个变换处理,以便于把输入数据投影到一个线性可分的空间上。MLP的中间层一般称为隐层。单一的隐层便可以确保MLP全局近似。然而,我们稍后还会看到多隐层的好处,比如在深度学习中的应用。(本节只要介绍了MLP的实现,对神经网络的背景知识介绍不多,感兴 阅读全文
posted @ 2014-03-23 13:10 I know you 阅读(438) 评论(0) 推荐(0) 编辑
摘要:最近在运行的时候碰到如下问题,ImportError: No module named pylab网上查询结果如下:1、pylab是matplotlib的一个模块吗?在python中是可以通过matplotlib.pylab导入的说明它应该是matlotlib的模块。但同时直接导入pylab也行,而且在官网的模块列表中并没有pylab,官方指导中也只有很少几处提及。最终通过在网站http://www.pythonware.com/products/pil/下载matlotlib安装解决。 阅读全文
posted @ 2014-03-14 14:10 I know you 阅读(181) 评论(0) 推荐(0) 编辑
摘要:稀疏连接性CNN通过增强相邻两层中神经元的局部的连接来发掘局部空间相关性. m层的隐输入单元和m-1层的一部分空间相邻,并具有连续可视野的神经元相连接. 它们的关系如下图所示:我们可以假设m-1层为输入视网膜, 在它之上,m层的视觉神经元具有宽度为3的可视野,因此一个单元可以连接视网膜层的三个相邻的神经元. m层的神经元和m-1层具有类似的连接属性. 因此m+1层的神经元对于m层,仍具有宽度为3的可视野,但是相对于m-1层,可视野的宽度更大(结果为5). 这种结构把训练好的过滤器构建成一种局部空间模式. 如上图所示, 过滤器由多个感知层堆积而成,它变得更加地全局. 比如,m+1层的一个神经元可 阅读全文
posted @ 2014-03-13 21:22 I know you 阅读(572) 评论(0) 推荐(0) 编辑
摘要:模型:隐含层激活函数常用的有或,由于tanh收敛更快,本文采用tanh函数激活函数。输出采用逻辑回归G从逻辑回归到MLPclass HiddenLayer(object): def __init__(self, rng, input, n_in, n_out, activation=T.tanh): """ Typical hidden layer of a MLP: units are fully-connected and have sigmoidal activation function. Weight matrix W is of sh... 阅读全文
posted @ 2014-03-05 12:22 I know you 阅读(529) 评论(0) 推荐(0) 编辑
摘要:模型对数回归模型是线性概率分类器,它有两个参数,权重矩阵W和偏移向量b.分类的过程是把数据投影到一组高维超平面上,数据和平面的距离反应了它属于这个类别的概率。这个模型的数学公式可以表示为:#模型的输出即为预测的结果,它的值为:代码如下:# generate symbolic variables fo... 阅读全文
posted @ 2014-03-05 11:58 I know you 阅读(614) 评论(0) 推荐(0) 编辑
摘要:零一损失我们的目的就是让错误次数(零一损失)尽可能的少:f(x)会得出在当前的theata条件下输入对应的最大概率的输出值。换言之,我们从x预测出f(x),如果这个值就是y,那么预测成功,反之失败。# zero_one_loss is a Theano variable representing a symbolic# expression of the zero one loss ; to get the actual value this# symbolic expression has to be compiled into a Theano function (see# the The 阅读全文
posted @ 2014-03-05 07:35 I know you 阅读(656) 评论(0) 推荐(0) 编辑
摘要:Theano初探为了搞清楚theano到底是什么东西,我们拿它做个简单的实验:写一个加法函数。>>> import theano.tensor as T>>> from theano import function>>> x = T.dscalar('x')>>> y = T.dscalar('y')>>> z = x + y>>> f = function([x, y], z)使用如下代码来使用>>> f(2, 3)array(5.0) 阅读全文
posted @ 2014-03-03 21:28 I know you 阅读(950) 评论(0) 推荐(0) 编辑