深度信念网络

深度信念网络(DBN)

把多个RBM堆积在一起,然后用贪婪的方式进行训练,就得到了所谓的深度信念网络。它是一个可以对训练数据进行深层表达的图形模型。他们在可视向量x和隐藏向量hk之间建立模型:

其中可用下图来阐述:

无监督训练通过RBM来完成,过程如下:

1.把第一层作为一个RBM训练

2.把第一层得出的结果作为第二层的输入

3.训练第二层

4.通过迭代得到足够的层数

5.对参数进行微调

在这个教程里,我们专注于用有监督的梯度下降来完成微调的过程。

Justifying Greedy-Layer Wise Pre-Training

实施

开始定义DBN类,它用来存储MLP层和与MLP层对应的RBM层。由于RBM是用来初始化MLP的,代码里面会尽量区分两者,以便让大家明白:RBM是用来初始化的,而MLP才是用来分类的。

 

posted @ 2014-03-30 13:54  I know you  阅读(2352)  评论(0编辑  收藏  举报