风雨中的小七

摘要： RLHF是针对有用，无害，事实性等原则，把模型输出和人类偏好进行对齐的一种方案。以OpenAI为基础，本章会对比DeepMind, Anthropic在RLHF步骤中的异同，试图理解RLHF究竟做了啥 阅读全文

摘要： 上一章介绍了如何基于APE+SELF自动化构建指令微调样本。这一章咱就把微调跑起来，主要介绍以Lora为首的低参数微调原理，环境配置，微调代码，以及大模型训练中显存和耗时优化的相关技术细节 阅读全文

摘要： 把AutomaticPromptEngineer指令逆向工程，SELFInstruct指令扩充组个CP，完全依LLM来构建指令微调样本集！在医疗领域经初步尝试了下，附代码和可视化应用 阅读全文

摘要： 这一章我们聊聊指令微调，模型还是那个熟悉的模型，核心的差异在于指令集和评估侧重点的不同，每个模型只侧重介绍差异点。按时间顺序分别是Flan，T0，InstructGPT， Tk-Instruct 阅读全文

摘要： 这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品 阅读全文

摘要： 这一章我们介绍固定prompt微调LM的相关模型，他们的特点都是针对不同的下游任务设计不同的prompt模板，在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍，支持任意NLP任务的T5，针对文本分类的两篇PET和LM-BFF。 阅读全文

摘要： 借着ChatGPT的东风，我们来梳理下prompt范式的相关模型，你还以其他形式看到过prompt概念，例如Demonstration，Instruction，In-Context learning，few-shot learning等等~开篇我们简单介绍下Prompt范式，并以其中的冻结参数Tunning-Free Prompt为线索串联GPT2，GPT3，LAMA和AutoPrompt这四种冻结参数的基础模型 阅读全文

摘要： 在前面章节中，我们介绍了几种半监督方案包括一致性正则，FGM对抗，最小熵原则，mixup增强。MixMatch则是集各家所长，把上述方案中的SOTA都融合在一起实现了1+1+1>3的效果。我们以MixMatch为基准，一并介绍几种衍生方案MixText，UDA，FixMatch 阅读全文

摘要： 今天来聊聊非常规的损失函数，第一章我们介绍当标注标签存在噪声时可以尝试的损失函数，这里的标签噪声主要指独立于特征分布的标签噪声 阅读全文

摘要： 这个系列会针对NLP比赛，经典问题的解决方案进行梳理并给出代码复现~算是找个理由把代码从TF搬运到torch。Chapter1是CCF BDC2019的赛题：金融信息负面及主体判定，属于实体关联的情感分类任务，相关代码实现以及Top方案梳理详见ClassisSolution/fin_new_entity 阅读全文