风雨中的小七

摘要： 这一章我们聊聊指令微调，模型还是那个熟悉的模型，核心的差异在于指令集和评估侧重点的不同，每个模型只侧重介绍差异点。按时间顺序分别是Flan，T0，InstructGPT， Tk-Instruct 阅读全文

摘要： 这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品 阅读全文

摘要： 这一章我们介绍固定prompt微调LM的相关模型，他们的特点都是针对不同的下游任务设计不同的prompt模板，在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍，支持任意NLP任务的T5，针对文本分类的两篇PET和LM-BFF。 阅读全文

摘要： 借着ChatGPT的东风，我们来梳理下prompt范式的相关模型，你还以其他形式看到过prompt概念，例如Demonstration，Instruction，In-Context learning，few-shot learning等等~开篇我们简单介绍下Prompt范式，并以其中的冻结参数Tunning-Free Prompt为线索串联GPT2，GPT3，LAMA和AutoPrompt这四种冻结参数的基础模型 阅读全文

摘要： 在前面章节中，我们介绍了几种半监督方案包括一致性正则，FGM对抗，最小熵原则，mixup增强。MixMatch则是集各家所长，把上述方案中的SOTA都融合在一起实现了1+1+1>3的效果。我们以MixMatch为基准，一并介绍几种衍生方案MixText，UDA，FixMatch 阅读全文

摘要： 今天来聊聊非常规的损失函数，第一章我们介绍当标注标签存在噪声时可以尝试的损失函数，这里的标签噪声主要指独立于特征分布的标签噪声 阅读全文

摘要： 这个系列会针对NLP比赛，经典问题的解决方案进行梳理并给出代码复现~算是找个理由把代码从TF搬运到torch。Chapter1是CCF BDC2019的赛题：金融信息负面及主体判定，属于实体关联的情感分类任务，相关代码实现以及Top方案梳理详见ClassisSolution/fin_new_entity 阅读全文

摘要： 这一章我们介绍嵌入模型的增强&正则化方案Mixup和Manifold Mixup，方法朴实无华，效果亲测有效~ 阅读全文

摘要： 这一章我们来唠唠如何优化BERT对文本长度的限制，核心是对Transformer计算效率的优化，我们会分别从片段递归，稀疏注意力机制和矩阵降维几个方向，聊聊更高效的Transformer魔改方案 阅读全文

摘要： 论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptive pretraining）和TAPT任务适应预训练（task-adaptive pretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新的训练范式，从之前的pretrain+fintune，到pretrain+continue pretrain+finetune 阅读全文