愿你我被算法温柔以待~

摘要： 在前面章节中，我们介绍了几种半监督方案包括一致性正则，FGM对抗，最小熵原则，mixup增强。MixMatch则是集各家所长，把上述方案中的SOTA都融合在一起实现了1+1+1>3的效果。我们以MixMatch为基准，一并介绍几种衍生方案MixText，UDA，FixMatch 阅读全文

摘要： 今天来聊聊非常规的损失函数，第一章我们介绍当标注标签存在噪声时可以尝试的损失函数，这里的标签噪声主要指独立于特征分布的标签噪声 阅读全文

摘要： 这个系列会针对NLP比赛，经典问题的解决方案进行梳理并给出代码复现~算是找个理由把代码从TF搬运到torch。Chapter1是CCF BDC2019的赛题：金融信息负面及主体判定，属于实体关联的情感分类任务，相关代码实现以及Top方案梳理详见ClassisSolution/fin_new_entity 阅读全文

摘要： 这一章我们介绍嵌入模型的增强&正则化方案Mixup和Manifold Mixup，方法朴实无华，效果亲测有效~ 阅读全文

摘要： 这一章我们来唠唠如何优化BERT对文本长度的限制，核心是对Transformer计算效率的优化，我们会分别从片段递归，稀疏注意力机制和矩阵降维几个方向，聊聊更高效的Transformer魔改方案 阅读全文

摘要： 论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptive pretraining）和TAPT任务适应预训练（task-adaptive pretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新的训练范式，从之前的pretrain+fintune，到pretrain+continue pretrain+finetune 阅读全文

摘要： 在前两章中我们已经聊过对抗学习FGM，一致性正则Temporal等方案，主要通过约束模型对细微的样本扰动给出一致性的预测，推动决策边界更加平滑。这一章我们主要针对低密度分离假设，聊聊如何使用未标注数据来推动决策边界向低密度区移动，相关代码实现详见[ClassicSolution/enhancement] 阅读全文

摘要： 借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，这一章我们只针对NLU领域3个比较经典的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~ 阅读全文

摘要： 这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM，MacBert，ChineseBert主要从3个方向在预训练中补充中文文本的信息：词粒度信息，中文笔画信息，拼音信息。与其说是推荐帖，可能更多需要客观看待以下'中文'改良的在实际应用中的效果~ 阅读全文

摘要： 这一章我们结合FGSM，FGM，VAT看下如何使用对抗训练，以及对抗训练结合半监督来提升模型的鲁棒性。其中FGSM主要论述了对抗样本存在性和对抗训练提升模型鲁棒性的原因，VAT的两篇是对抗在CV领域应用的论文，而FGM是CV迁移到NLP的实现方案，一作都是同一位作者大大，在施工中的Simple Classification提供了FGM的tensorflow实现～ 阅读全文