摘要：自回归语言模型（Autoregressive LM） 在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。GPT 就是典型的自回归语言模型。EL 阅读全文

摘要：BERT在数据预处理时使用了WordPiece。WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。 WordPiece的一种主要的实现方式叫做BPE（Byte-Pair Encoding）双字节编码。 BPE的过程可以理解为把一个单词再拆分，使得我们的词表变得精简，并且 阅读全文