Theano3.1-练习之初步介绍

        来自 http://deeplearning.net/tutorial/,虽然比较老了,不过觉得想系统的学习theano,所以需要从python--numpy--theano的顺序学习。这里的资料都很老了,毕竟看得出来应该是10年的,现在都15年了,综述还是什么都很不一样了,不过对于学习theano来说,还好没差。如果是想学习dl的原理的,推荐看其他的新综述和文章,这里的博文主要是为了学习theano,也就是主要工程上,不是学术上。

        深度学习是机器学习研究中一个新的领域,是为了朝着机器学习的初衷:人工智能而前进的一步,可以看看这两个笔记: a brief introduction to Machine Learning for AI翻译:和an introduction to Deep Learning algorithms.(翻译:待加上)

        深度学习是关于从例如图像、声音、文本中学习多层表征和抽象语义。对于更多的dl算法,可以看看下面的资料(虽然觉得老了,都好多年了,不过知识总是不会过时的,只是场景应用不同):

        该教程将会介绍一些最重要的dl算法并且会呈现如何使用 Theano.来运行的。Theano是一个python库,可以用来很容易的写出dl的模型,并且能够在GPU上训练。不过这些算法教程却需要一些先决条件。你需要知道python,很熟悉numpy。而且需要首先读完 Theano basic tutorial 翻译:。一旦你做完了上面这些,就可以读这部分章节了 Getting Started–(翻译:)这个章节介绍了一些符号注释,和在这个教程中使用的可下载的数据集 ,这里是通过使用随机梯度下降法(stochastic gradient descent,SGD)来优化的。

下面这几个是纯有监督学习算法,可以作为初始的练习,按照指定顺序做:

  1. Logistic Regression -翻译:
  2. Multilayer perceptron -翻译:introduction to layers
  3. Deep Convolutional Network - 翻译:a simplified version of LeNet5

下面这几个是无监督和半监督学习算法,可以按照你想要的顺序做(auto-encoders可以和RBM/DBN独立分开):

接下来是需要的mcRBM,这里是一个从能量模型上采样的一个新教程:

  • HMC Sampling - hybrid (aka Hamiltonian) Monte-Carlo sampling with scan()
接下来的是对比自动编码器的教程,现在已经提供代码了:
接下来的是基于单词嵌入和上下文窗口的递归神经网络(Recurrent neural networks,RNN):
情绪分析的LSTM 网络:
基于能量的递归神经网络 (RNN-RBM):
这个博文可以当成一个学习Theano的总入口,接下来会不断的更新其中的原理和代码解析,尽可能的不太监,而且我是先一直更新python的,然后更新了一篇numpy的,然后在来theano的部分的,尽量做到从零开始。

posted @ 2015-06-05 12:24  仙守  阅读(888)  评论(0编辑  收藏  举报