pythonfl

摘要： 本篇博文简要记录基于Transformer的各类自然语言处理预训练模型（自Bert开始）的特点及使用。 1. Bert BERT（Bidirectional Encoder Representations from Transformers）做的是一个上下文双向的信息编码器； Bert与之前的ELM 阅读全文

摘要： 本篇博文简要记录在预训练模型Bert出现之前，NLP领域预训练模式的发展，主要围绕Word Embedding的提出与改进。 1. 预训练任务：语言模型 早期在NLP领域做预训练的主要任务为语言模型（这是一个自然语言处理的任务），语言模型即用于计算某句话的出现概率，也可以理解为输入一句话的前面几个单 阅读全文