摘要：
本文介绍多层感知机算法，特别是详细解读其代码实现，基于python theano，代码来自：Multilayer Perceptron，如果你想详细了解多层感知机算法，可以参考：UFLDL教程，或者参考本文第一部分的算法简介。经详细注释的代码：放在我的github地址上，可下载。一、多层感知机（ML... 阅读全文
posted @ 2015-12-02 23:07
视觉书虫
阅读(1228)
评论(0)
推荐(0)
摘要：
Stochastic Gradient Descent (SGD)SGD的参数在使用随机梯度下降（SGD）的学习方法时，一般来说有以下几个可供调节的参数:Learning Rate 学习率Weight Decay 权值衰减Momentum 动量Learning Rate Decay 学习率衰减再此之... 阅读全文
posted @ 2015-12-02 23:04
视觉书虫
阅读(2520)
评论(0)
推荐(0)
摘要：
理解dropout注意：图片都在github上放着，如果刷不开的话，可以考虑FQ。转载请注明：http://blog.csdn.net/stdcoutzyx/article/details/49022443开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂... 阅读全文
posted @ 2015-12-02 23:03
视觉书虫
阅读(975)
评论(0)
推荐(0)
摘要：
首先PO上主要Python代码(2.7), 这个代码在Deep Learning上可以找到. 1 # allocate symbolic variables for the data 2 index = T.lscalar() # index to a [mini]batch 3 ... 阅读全文
posted @ 2015-12-02 23:02
视觉书虫
阅读(452)
评论(0)
推荐(0)
摘要：
一、多层感知机MLP1、MLP概述对于含有单个隐含层的多层感知机(single-hidden-layer Multi-Layer Perceptron, MLP)，可以将其看成是一个特殊的Logistic回归分类器，这个特殊的Logistic回归分类器首先通过一个非线性变换Φ(non-linear ... 阅读全文
posted @ 2015-12-02 23:00
视觉书虫
阅读(701)
评论(0)
推荐(0)
摘要：
Scan是干什么的函数scan是Theano中迭代的一般形式，所以可以用于类似循环(looping)的场景。 如果你熟悉Reduction和map两个函数，这两个都是scan的特殊形式，即将某函数依次作用一个序列的每个元素上。 函数scan的输入也是一些序列（一维数组，或者多维数组，以第一维为lea... 阅读全文
posted @ 2015-12-02 22:59
视觉书虫
阅读(1313)
评论(0)
推荐(0)
摘要：
有了前面的准备，可以用Theano实现一个逻辑回归程序，逻辑回归是典型的有监督学习。为了形象，这里我们假设分类任务是区分人与狗的照片。首先是生成随机数对象[python]view plaincopyimportnumpyimporttheanoimporttheano.tensorasTrng=nu... 阅读全文
posted @ 2015-12-02 22:56
视觉书虫
阅读(287)
评论(0)
推荐(0)
摘要：
theano 模块 MLP示例，有需要的朋友可以参考下。theano教程Example: MLP：约定数组为列向量，层级：将多层传感器定义为一连串的层级，每个层级定义为一个类。类属性包括：权重、偏差矢量、以及计算这一层输出的函数。如果不使用Theano，我们可能希望输出函数会接收一个向量并返回图层的... 阅读全文
posted @ 2015-12-02 22:54
视觉书虫
阅读(329)
评论(0)
推荐(0)
摘要：
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是... 阅读全文
posted @ 2015-12-02 16:46
视觉书虫
阅读(297)
评论(0)
推荐(0)
浙公网安备 33010602011771号