2017 年 10月 23 日随笔档案 - bonelee

2017年10月23日

摘要：原文：https://zybuluo.com/hanbingtao/note/626300 有时候把句子看做是词的序列是不够的，比如下面这句话『两个外语学院的学生』：上图显示了这句话的两个不同的语法解析树。可以看出来这句话有歧义，不同的语法解析树则对应了不同的意思。一个是『两个外语学院的/学生』，阅读全文

posted @ 2017-10-23 16:41 bonelee 阅读(758) 评论(0) 推荐(0)

循环神经网络

摘要：原文：https://zybuluo.com/hanbingtao/note/541458 循环神经网络也可以画成下面这个样子：双向循环神经网络对于语言模型来说，很多时候光看前面的词是不够的，比如下面这句话：我的手机坏了，我打算____一部新手机。可以想象，如果我们只看横线前面的词，手机坏了阅读全文

posted @ 2017-10-23 16:39 bonelee 阅读(1379) 评论(1) 推荐(0)

卷积神经网络——本质上是在利用卷积做特征压缩，然后再全连接

摘要：原文：https://www.zybuluo.com/hanbingtao/note/485480 写得非常好，可以细读全连接网络 VS 卷积网络全连接神经网络之所以不太适合图像识别任务，主要有以下几个方面的问题：参数数量太多考虑一个输入1000*1000像素的图片(一百万像素，现在已经不能阅读全文

posted @ 2017-10-23 13:21 bonelee 阅读(12642) 评论(0) 推荐(0)

神经网络和反向传播算法——反向传播算法本质上是随机梯度下降，链式求导法则而来的

摘要：原文：https://www.zybuluo.com/hanbingtao/note/476663 写得非常好，适合入门！神经元神经元和感知器本质上是一样的，只不过我们说感知器的时候，它的激活函数是阶跃函数；而当我们说神经元时，激活函数往往选择为sigmoid函数或tanh函数。如下图所示：计阅读全文

posted @ 2017-10-23 12:09 bonelee 阅读(4830) 评论(1) 推荐(1)

LSTM入门学习——结合《LSTM模型》文章看

摘要：摘自：https://zybuluo.com/hanbingtao/note/581764 写得非常好见原文长短时记忆网络的思路比较简单。原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。那么，假如我们再增加一个状态，即c，让它来保存长期的状态，那么问题不就解决了么？如下图所示：阅读全文

posted @ 2017-10-23 10:34 bonelee 阅读(23326) 评论(0) 推荐(1)

LSTM入门学习——本质上就是比RNN的隐藏层公式稍微复杂了一点点而已

摘要： LSTM入门学习摘自：http://blog.csdn.net/hjimce/article/details/51234311 下面先给出LSTM的网络结构图：看到网络结构图好像很复杂的样子，其实不然，LSTM的网络结构图无非是为了显示其高大上而已，这其实也是一个稍微比RNN难那么一丁点的算法。阅读全文

posted @ 2017-10-23 10:08 bonelee 阅读(3907) 评论(0) 推荐(0)

LSTM模型

摘要：摘自：http://www.voidcn.com/article/p-ntafyhkn-zc.html （二）LSTM模型 1.长短期记忆模型（long-short term memory）是一种特殊的RNN模型，是为了解决RNN模型梯度弥散的问题而提出的；在传统的RNN中，训练算法使用的是BPTT 阅读全文

posted @ 2017-10-23 09:47 bonelee 阅读(4459) 评论(0) 推荐(0)