浅显易懂

摘要：DNN的pretraining-RBM DNN是高度非线性函数，采用BP算法训练网络的存在一个问题，非常容易陷入局部极值点。Restricted Boltzmann machine(RBM)提供了一种无监督的训练方式可以对DNN进行pretraining。也有一些其他的方法（如autoencod... 阅读全文

摘要：DNN的有监督训练-BP算法 这里以$K$类分类问题来对BP算法进行描述。实际上对于其他问题（如回归问题）基本是一样的。给定训练样本为：$(\mathbf{x},\mathbf{y})$，其中$\mathbf{x}$为样本的特征，$\mathbf{y}$为类别标签，其形式为：$\mathbf{y}... 阅读全文

摘要：DNN的网络结构 近两年深度学习不管是在科研领域还是工业界都非常火，其实深度学习相比之前的神经网络在理论上没什么区别，唯一区别可能是加了一个pretraining的过程而已。DNN(Deep neural network)是一种前馈人工神经网络，在输入与输出层之间包含了多于一层的隐含层。 废话少... 阅读全文