从流域到海域

摘要： Transformer是Google提出的用来解决LSTM建模长期依赖乏力的问题全新架构模型，同时其网络架构的设计全部考虑如何并... 阅读全文

posted @ 2020-09-09 17:38 从流域到海域阅读(323) 评论(0) 推荐(0)

摘要： BERT自从被提出之后，因为其开源且表现及其优异，工业界开始广泛采用Bert来完成各项NLP的任务。一般来说，Bert都能给我们... 阅读全文

posted @ 2020-09-09 16:35 从流域到海域阅读(282) 评论(0) 推荐(0)

摘要：首先，基本的Memorry Network中是使用sentence(passage)来构造memory，然后计算和query的匹... 阅读全文

posted @ 2020-04-13 10:33 从流域到海域阅读(281) 评论(0) 推荐(0)

摘要：这篇博文是Deep Memory Network在Aspect Based Sentiment方向上的应用的一部分，如果你已经熟... 阅读全文

posted @ 2020-03-11 17:33 从流域到海域阅读(147) 评论(0) 推荐(0)

摘要：前面的博文Deep Memory Network 深度记忆网络已经非常详细地介绍了该种网络架构，下面我们来研究一下其在基于方面的... 阅读全文

posted @ 2020-03-11 17:25 从流域到海域阅读(208) 评论(0) 推荐(0)

摘要： RNN解决长期依赖的能力随着文本长度的增加越来越差，attention机制是解决这种问题的一种思路，今天我们再来看另外一种思路，... 阅读全文

posted @ 2020-03-10 18:43 从流域到海域阅读(237) 评论(0) 推荐(0)

摘要： self attention是提出Transformer的论文《Attention is all you need》中提出的一种... 阅读全文

posted @ 2020-03-09 18:20 从流域到海域阅读(1325) 评论(0) 推荐(0)

摘要：本篇博文介绍的Attention，全部是Seq2Sqeq的attention机制的变种，本质上也还是Seq2Seq的attent... 阅读全文

posted @ 2020-03-09 15:49 从流域到海域阅读(652) 评论(0) 推荐(0)

摘要：策略梯度算法(PG) 策略梯度迭代，通过计算策略梯度的估计，并利用随机梯度上升算法进行迭代。其常用的梯度估计形式为： ... 阅读全文

posted @ 2020-02-05 15:54 从流域到海域阅读(816) 评论(0) 推荐(0)

摘要：常见的policy gradient算法，写出来挺简单的，但是有一个复杂的推导过程，这里就略去了。 Vanilla Poli... 阅读全文

posted @ 2019-11-28 22:13 从流域到海域阅读(182) 评论(0) 推荐(0)