2020年6月14日
语言模型系列（一）——AWD-LSTM
摘要： 1，概述 语言模型可以说是NLP中最基本的任务，无论是词向量，预训练模型，文本生成等任务中都带有语言模型的影子。语言模型本质上是对一个自然世界中存在的句子建模，描述一个句子发生的概率，因此语言模型也是一个自回归的任务。语言模型是一个上下文强依赖的任务，不仅需要捕获长距离的信息，还需要学到词之间的位置 阅读全文
posted @ 2020-06-14 22:19 微笑sun 阅读(2314) 评论(0) 推荐(0) 编辑