摘要：[TOC] 1、RNN和LSTM简介 首先我们来简要介绍一下RNN模型和LSTM模型，这样，我们可以很好的理解后面的延伸的模型。可以参考 "RNN和LSTM模型详解" 2、tree LSTM模型 tree LSTM是由Kai Sheng Tai[1]等人提出的一种在LSTM基础上改进的一种算法，这是 阅读全文

摘要：本文介绍RNN模型和LSTM模型。 RNN 为什么会出现RNN 在传统的深度神经网络模型中，我们的输入信息是没有顺序的，比如，NLP领域中，我们输入单词经常使用embedding，将词汇映射为词向量，然后输入到神经网络。但是这种输入方式会有一些问题，比如，"我 爱 你"和"你 爱 我"在传统的神经网 阅读全文

摘要：[TOC] DAN(Deep Average Network) MLP（Multi Layer Perceptrons）叫做多层感知机，即由多层网络简单堆叠而成，进而我们可以在输出层加入softmax，或者将输入层作为特征进行提取后，输入到SVM，逻辑回归，朴素贝叶斯等传统分类器进行分类预测。其中最 阅读全文

摘要：[TOC] 前言 记得第一次接触word2vec的时候是在研二的时候，当时看了一些介绍的博客，对word2vec的原理有了一些了解，但是对于其中的细节，推导等没有理解的透彻，后来也不知道什么原因，就将其搁置了。最近有了一些时间，准备写一个预训练语言模型的系列，所以准备先拿word2vec开刀，热热身 阅读全文