摘要：
1.基于能量的模型(Energy-Based Models,EBM)基于能量的模型（EBM）把我们所关心变量的各种组合和一个标量能量联系在一起。我们训练模型的过程就是不断改变标量能量的过程，因此就有了数学上期望的意义。比如，如果一个变量组合被认为是合理的，它同时也具有较小的能量。基于能量的概率模型通过能量函数来定义概率分布：（1）其中，正则化因子Z被称为配分函数：EBM可以通过对原始数据的负对数似然函数来运用梯度下降来完成训练。我们的过程也可以分为两步：1定义对数似然函数；2.定义损失函数。对数似然函数：损失函数就是负对数似然函数:2.含有隐含层的EBM在许多情况下，我们无法观察到样品的所有参 阅读全文
摘要：
受限波尔兹曼网络RBM是一个双层网络：可见层和隐含层。1. 概述 前面描述的神经网络模型是一种确定的结构。而波尔兹曼网络是一种随机网络。如何来描述一个随机网络呢？很多书上有大量的篇幅介绍其原理。这里把它总结为以下两点。 第一，概率分布函数。由于网络节点的取值状态是随机的，从贝叶斯网的观点来看，要描述整个网络，需要用三种概率分布来描述系统。即联合概率分布（多个条件同时满足的概率），边缘概率分布（高维变量中的低维变量的分布）和条件概率分布。要搞清楚这三种不同的概率分布,是理解随机网络的关键,这里向大家推荐的书籍是张连文所著的《贝叶斯网引论》。很多文献上说受限波尔兹曼是一个无向图，这一点也... 阅读全文
摘要：
theano学习指南，主要翻译官方文档基础知识本学习指南不是一份机器学习的教程，但是首先我们会对其中的概念做一个简单的回顾，以确保我们在相同的起跑线上。大家还需要下载几个数据库，以便于跑这个指南里面的程序。theano下载安装在学习每一个算法的时候，大家都需要下载安装相应的文件，如果你想要一次下载所有的文件，可以通过下面这种方式git clone git://github.com/lisa-lab/DeepLearningTutorials.git数据库MNIST数据集（mnist.pkl.gz）MNIST数据集由手写的数字的图像组成，它分为了60,000训练数据和10,000个测试数据。在很 阅读全文
摘要：
theano学习指南3（翻译）-多层感知器模型 - xueliangliu - 博客园xueliangliu随笔 - 25, 文章 - 0, 评论 - 2, 引用 - 0theano学习指南3（翻译）-多层感知器模型本节要用Theano实现的结构是一个隐层的多层感知器模型（MLP）。MLP可以看成一种对数回归器，其中输入通过非线性转移矩阵$\Phi$做一个变换处理，以便于把输入数据投影到一个线性可分的空间上。MLP的中间层一般称为隐层。单一的隐层便可以确保MLP全局近似。然而，我们稍后还会看到多隐层的好处，比如在深度学习中的应用。（本节只要介绍了MLP的实现，对神经网络的背景知识介绍不多，感兴 阅读全文
摘要：
最近在运行的时候碰到如下问题，ImportError: No module named pylab网上查询结果如下：1、pylab是matplotlib的一个模块吗？在python中是可以通过matplotlib.pylab导入的说明它应该是matlotlib的模块。但同时直接导入pylab也行，而且在官网的模块列表中并没有pylab，官方指导中也只有很少几处提及。最终通过在网站http://www.pythonware.com/products/pil/下载matlotlib安装解决。 阅读全文
摘要：
稀疏连接性CNN通过增强相邻两层中神经元的局部的连接来发掘局部空间相关性. m层的隐输入单元和m-1层的一部分空间相邻,并具有连续可视野的神经元相连接. 它们的关系如下图所示:我们可以假设m-1层为输入视网膜, 在它之上,m层的视觉神经元具有宽度为3的可视野,因此一个单元可以连接视网膜层的三个相邻的神经元. m层的神经元和m-1层具有类似的连接属性. 因此m+1层的神经元对于m层,仍具有宽度为3的可视野,但是相对于m-1层,可视野的宽度更大(结果为5). 这种结构把训练好的过滤器构建成一种局部空间模式. 如上图所示, 过滤器由多个感知层堆积而成,它变得更加地全局. 比如,m+1层的一个神经元可 阅读全文
摘要：
模型：隐含层激活函数常用的有或，由于tanh收敛更快，本文采用tanh函数激活函数。输出采用逻辑回归G从逻辑回归到MLPclass HiddenLayer(object): def __init__(self, rng, input, n_in, n_out, activation=T.tanh): """ Typical hidden layer of a MLP: units are fully-connected and have sigmoidal activation function. Weight matrix W is of sh... 阅读全文
摘要：
模型对数回归模型是线性概率分类器，它有两个参数，权重矩阵W和偏移向量b.分类的过程是把数据投影到一组高维超平面上，数据和平面的距离反应了它属于这个类别的概率。这个模型的数学公式可以表示为：#模型的输出即为预测的结果，它的值为：代码如下：# generate symbolic variables fo... 阅读全文
摘要：
零一损失我们的目的就是让错误次数（零一损失）尽可能的少：f（x）会得出在当前的theata条件下输入对应的最大概率的输出值。换言之，我们从x预测出f(x),如果这个值就是y，那么预测成功，反之失败。# zero_one_loss is a Theano variable representing a symbolic# expression of the zero one loss ; to get the actual value this# symbolic expression has to be compiled into a Theano function (see# the The 阅读全文
摘要：
Theano初探为了搞清楚theano到底是什么东西，我们拿它做个简单的实验：写一个加法函数。>>> import theano.tensor as T>>> from theano import function>>> x = T.dscalar('x')>>> y = T.dscalar('y')>>> z = x + y>>> f = function([x, y], z)使用如下代码来使用>>> f(2, 3)array(5.0) 阅读全文