随笔分类 -  Deep Learning

[NN] 随机VS批训练
摘要：本文翻译节选自1998-Efficient BackProp, Yann LeCun et al..4.1 随机VS批训练每一次迭代, 传统训练方式都需要遍历所有数据集来计算平均梯度. 批训练也同样. 但你也可以使用随机训练的方法: 每次随机选择一个样本$\{Z^t, D^t\}$. 使用它来计算对... 阅读全文
posted @ 2015-01-28 20:18 Lancelod_Liu 阅读(762) 评论(0) 推荐(0)
[NN] 对于BackPropagation(BP, 误差反向传播)的一些理解
摘要：本文大量参照 David E. Rumelhart, Geoffrey E. Hinton and Ronald J. Williams, Learning representation by back-propagating errors, Nature, 323(9): 533-536, 198 阅读全文
posted @ 2014-12-15 10:09 Lancelod_Liu 阅读(8251) 评论(6) 推荐(3)
[DL] 基于theano.tensor.dot的逻辑回归代码中的SGD部分的疑问探幽
摘要：在Hinton的教程中, 使用Python的theano库搭建的CNN是其中重要一环, 而其中的所谓的SGD - stochastic gradient descend算法又是如何实现的呢? 看下面源码(篇幅考虑只取测试模型函数, 训练函数只是多了一个updates参数, 并且部分参数有改动): 3... 阅读全文
posted @ 2014-12-01 09:16 Lancelod_Liu 阅读(3163) 评论(0) 推荐(1)
[C++/Python] 如何在C++中使用一个Python类? (Use Python-defined class in C++)
摘要：最近在做基于OpenCV的车牌识别, 其中需要用到深度学习的一些代码(Python), 所以一开始的时候开发语言选择了Python(祸患之源).固然现在Python的速度不算太慢, 但你一定要用Python来操作图像, 实现某些算法的时候, 效率就变得非常重要. 可惜的是, Python在大多数算法... 阅读全文
posted @ 2014-10-20 12:35 Lancelod_Liu 阅读(12783) 评论(1) 推荐(0)
[深度学习]Wake-Sleep算法
摘要：本文翻译自2007-To recognize shapes, first learn to generate images, Geoffrey Hinton.第五种策略的设计思想是使得高层的特征提取器能够和底层的进行通信, 同时可以很容易地使用随机二态神经元的分层网络来实现.这些神经元的激活概率是关... 阅读全文
posted @ 2014-07-25 14:08 Lancelod_Liu 阅读(10315) 评论(0) 推荐(0)
[深度学习]受限玻尔兹曼机生成手写数字训练样本原理
摘要：基于能量的模型(EBM)基于能量的模型将每一个我们感兴趣的变量构造联系到一个标量能量上. 学习就是修改能量方程从而使得它的外形有我们需要的特点. 举例来说, 希望的是: 期望构造的能量低. 基于能量的概率性模型定义了一个概率分布, 它是由能量方程决定的: (1)归一化因子Z被称为配分函数,... 阅读全文
posted @ 2014-07-23 15:03 Lancelod_Liu 阅读(2227) 评论(0) 推荐(0)
[深度学习]Python/Theano实现逻辑回归网络的代码分析
摘要：2014-07-2110:28:34首先PO上主要Python代码(2.7), 这个代码在Deep Learning上可以找到. 1 # allocate symbolic variables for the data 2 index = T.lscalar() # index to... 阅读全文
posted @ 2014-07-21 11:12 Lancelod_Liu 阅读(1183) 评论(1) 推荐(0)