摘要：NLP中的语言模型预训练相关总结 前言 语言模型的预处理主要是在各种NLP任务(翻译任务, QA, 实体识别等等)中作为上游任务出现的,用来获取语句的embedding向量, 从而作为下游模型的输入. 本文对最近看的一些博文中有关LM预处理的模型进行总结及阐述 one-hot 模型 最简单的表示一个 阅读全文