随笔分类 - 0082. 深度学习

摘要:在用PMML实现机器学习模型的跨平台上线中,我们讨论了使用PMML文件来实现跨平台模型上线的方法,这个方法当然也适用于tensorflow生成的模型,但是由于tensorflow模型往往较大,使用无法优化的PMML文件大多数时候很笨拙,因此本文我们专门讨论下tensorflow机器学习模型的跨平台上 阅读全文
posted @ 2018-07-01 21:42 刘建平Pinard 阅读 (7030) | 评论 (4) 编辑
摘要:在前面我们讲到了深度学习的两类神经网络模型的原理,第一类是前向的神经网络,即DNN和CNN。第二类是有反馈的神经网络,即RNN和LSTM。今天我们就总结下深度学习里的第三类神经网络模型:玻尔兹曼机。主要关注于这类模型中的受限玻尔兹曼机(Restricted Boltzmann Machine,以下简 阅读全文
posted @ 2017-03-11 09:50 刘建平Pinard 阅读 (18127) | 评论 (31) 编辑
摘要:在循环神经网络(RNN)模型与前向反向传播算法中,我们总结了对RNN模型做了总结。由于RNN也有梯度消失的问题,因此很难处理长序列的数据,大牛们对RNN做了改进,得到了RNN的特例LSTM(Long Short-Term Memory),它可以避免常规RNN的梯度消失,因此在工业界得到了广泛的应用。 阅读全文
posted @ 2017-03-08 15:38 刘建平Pinard 阅读 (44302) | 评论 (104) 编辑
摘要:在前面我们讲到了DNN,以及DNN的特例CNN的模型和前向反向传播算法,这些算法都是前向反馈的,模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络:循环神经网络(Recurrent Neural Networks ,以下简称RNN),它广泛的用于自然语言处理中的语音识 阅读全文
posted @ 2017-03-06 19:57 刘建平Pinard 阅读 (98353) | 评论 (116) 编辑
摘要:在卷积神经网络(CNN)前向传播算法中,我们对CNN的前向传播算法做了总结,基于CNN前向传播算法的基础,我们下面就对CNN的反向传播算法做一个总结。在阅读本文前,建议先研究DNN的反向传播算法:深度神经网络(DNN)反向传播算法(BP) 1. 回顾DNN的反向传播算法 我们首先回顾DNN的反向传播 阅读全文
posted @ 2017-03-03 14:13 刘建平Pinard 阅读 (88100) | 评论 (143) 编辑
摘要:在卷积神经网络(CNN)模型结构中,我们对CNN的模型结构做了总结,这里我们就在CNN的模型基础上,看看CNN的前向传播算法是什么样子的。重点会和传统的DNN比较讨论。 1. 回顾CNN的结构 在上一篇里,我们已经讲到了CNN的结构,包括输出层,若干的卷积层+ReLU激活函数,若干的池化层,DNN全 阅读全文
posted @ 2017-03-02 12:41 刘建平Pinard 阅读 (32972) | 评论 (34) 编辑
摘要:在前面我们讲述了DNN的模型与前向反向传播算法。而在DNN大类中,卷积神经网络(Convolutional Neural Networks,以下简称CNN)是最为成功的DNN特例之一。CNN广泛的应用于图像识别,当然现在也应用于NLP等其他领域,本文我们就对CNN的模型结构做一个总结。 在学习CNN 阅读全文
posted @ 2017-03-01 14:31 刘建平Pinard 阅读 (76851) | 评论 (35) 编辑
摘要:和普通的机器学习算法一样,DNN也会遇到过拟合的问题,需要考虑泛化,这里我们就对DNN的正则化方法做一个总结。 1. DNN的L1&L2正则化 想到正则化,我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似,这里重点讲述DNN的L2正则化。 而DNN的L2正则化通常的做法是只针 阅读全文
posted @ 2017-02-27 14:20 刘建平Pinard 阅读 (20893) | 评论 (22) 编辑
摘要:在深度神经网络(DNN)反向传播算法(BP)中,我们对DNN的前向反向传播算法的使用做了总结。里面使用的损失函数是均方差,而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢?下面我们就对DNN损失函数和激活函数的选择做一个总结。 1. 均方差损 阅读全文
posted @ 2017-02-24 14:50 刘建平Pinard 阅读 (46632) | 评论 (97) 编辑
摘要:在深度神经网络(DNN)模型与前向传播算法中,我们对DNN的模型和前向传播算法做了总结,这里我们更进一步,对DNN的反向传播算法(Back Propagation,BP)做一个总结。 1. DNN反向传播算法要解决的问题 在了解DNN的反向传播算法前,我们先要知道DNN反向传播算法要解决的问题,也就 阅读全文
posted @ 2017-02-21 12:36 刘建平Pinard 阅读 (57348) | 评论 (123) 编辑
摘要:深度神经网络(Deep Neural Networks, 以下简称DNN)是深度学习的基础,而要理解DNN,首先我们要理解DNN模型,下面我们就对DNN的模型与前向传播算法做一个总结。 1. 从感知机到神经网络 在感知机原理小结中,我们介绍过感知机的模型,它是一个有若干输入和一个输出的模型,如下图: 阅读全文
posted @ 2017-02-20 15:08 刘建平Pinard 阅读 (98303) | 评论 (33) 编辑