摘要：借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，这一章我们只针对NLU领域3个比较经典的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~ 阅读全文

摘要：论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptive pretraining）和TAPT任务适应预训练（task-adaptive pretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新的训练范式，从之前的pretrain+fintune，到pretrain+continue pretrain+finetune 阅读全文

摘要：这一章我们来唠唠如何优化BERT对文本长度的限制，核心是对Transformer计算效率的优化，我们会分别从片段递归，稀疏注意力机制和矩阵降维几个方向，聊聊更高效的Transformer魔改方案 阅读全文

摘要：这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM，MacBert，ChineseBert主要从3个方向在预训练中补充中文文本的信息：词粒度信息，中文笔画信息，拼音信息。与其说是推荐帖，可能更多需要客观看待以下'中文'改良的在实际应用中的效果~ 阅读全文

摘要：Albert是A Lite Bert的缩写，通过词向量矩阵分解，以及transformer block的参数共享，大大降低了Bert的参数量级。在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但其实Albert主要用在模型参数（内存）压缩，以及训练速度优化，在推理速度上并没有提升。正在施工中的文本分类库里也加入了Albert预训练模型，有在chinanews上已经微调好可以开箱即用的模型，同时支持半监督，领域迁移，降噪loss，蒸馏等模型优化项，感兴趣戳这里SimpleClassification 阅读全文

摘要：掩码是Bert实现双向理解的核心，但是掩码存在预训练和微调的不一致性，以及15%掩码带来的训练低效性~那能否绕过MASK策略来捕捉双向上下文信息呢？下面介绍两种方案XLNET，Electra，它们分别通过乱序排列语言模型，和生成器-判别器的方案实现了不依赖MASK的双向语言模型。正在施工中的代码库也接入了这两种预训练模型，同时支持半监督，领域迁移，降噪loss，蒸馏等模型优化项，感兴趣的戳这里>>SimpleClassification 阅读全文

摘要：Bert提出了很好的双向LM训练和迁移框架，但它的训练方式槽点较多，这一章就训练方案改良，我们来聊聊RoBERTa和SpanBERT，看作者这两篇paper是一个组的作品，所以存在一些共同点~。正在施工中的代码库也接入了这两种模型作为backbone，同时支持半监督，领域迁移，降噪loss，蒸馏等模型优化项，感兴趣的戳这里>>SimpleClassification 阅读全文

摘要：Bert通过双向LM处理语言理解问题，GPT则通过单向LM解决生成问题，那如果既想拥有BERT的双向理解能力，又想做生成嘞？成年人才不要做选择！这类需求，主要包括seq2seq中生成对输入有强依赖的场景，例如翻译，生成式问答，文本摘要等等，本章分别介绍3种不同的方案：UNILM，MASS，BART 阅读全文

摘要：Bert不完全手册系列之模型蒸馏：模型蒸馏的目标主要用于模型的线上部署，解决Bert太大，推理太慢的问题。因此用一个小模型去逼近大模型的效果，实现的方式一般是Teacher-Stuent框架，先用大模型（Teacher）去对样本进行拟合，再用小模型（Student）去模仿Teacher。这里介绍包括Knowledge Distll，到PKD，DIstillBert，TinyBert等蒸馏方案，持续更新中～ 阅读全文