里列昂遗失的记事本

摘要： 最新语言模型的创新 2018年被称为”NLP的ImageNet时刻“：进展惊人，越来越大的LSTM和基于Transformer的架构在庞大的数据集上得到了训练 Matthew Peters撰写的ELMo论文介绍了从语言模型来的嵌入（Embeddings from Language Model，ELM 阅读全文

摘要： 注意力机制 这是Dzmitry Bahdanai等人在2014年的突破性论文中的核心思想。他们介绍了一种技术，该技术允许编码器在每个时间步长中专注于适当的单词（由编码器编码）。例如，在编码器需要输出单词'lait'的时间步长上，它会把注意力集中在单词'milk'上。这意味着从输入单词到其翻译的路径变 阅读全文