摘要: 小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch 在前面章节中,我们介绍了几种半监督方案包括一致性正则,FGM对抗,最小熵原则,mixup增强。MixMatch则是集各家所长,把上述方案中的SOTA都融合在一起实现了1+1+1>3的效果。我们以MixMatch为基准,一并介绍几种衍生方案MixText,UDA,FixMatch 阅读全文
posted @ 2023-01-07 09:33 风雨中的小七 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 聊聊损失函数1. 噪声鲁棒损失函数简析 & 代码实现 今天来聊聊非常规的损失函数,第一章我们介绍当标注标签存在噪声时可以尝试的损失函数,这里的标签噪声主要指独立于特征分布的标签噪声 阅读全文
posted @ 2023-01-01 14:57 风雨中的小七 阅读(103) 评论(0) 推荐(0) 编辑
摘要: NLP手札1. 金融信息负面及主体判定方案梳理&代码实现 这个系列会针对NLP比赛,经典问题的解决方案进行梳理并给出代码复现~算是找个理由把代码从TF搬运到torch。Chapter1是CCF BDC2019的赛题:金融信息负面及主体判定,属于实体关联的情感分类任务,相关代码实现以及Top方案梳理详见ClassisSolution/fin_new_entity 阅读全文
posted @ 2022-11-27 10:16 风雨中的小七 阅读(221) 评论(0) 推荐(0) 编辑
摘要: 小样本利器4. 正则化+数据增强 Mixup Family代码实现 这一章我们介绍嵌入模型的增强&正则化方案Mixup和Manifold Mixup,方法朴实无华,效果亲测有效~ 阅读全文
posted @ 2022-10-30 13:54 风雨中的小七 阅读(312) 评论(0) 推荐(0) 编辑
摘要: Bert不完全手册9. 长文本建模 BigBird & Longformer & Reformer & Performer 这一章我们来唠唠如何优化BERT对文本长度的限制,核心是对Transformer计算效率的优化,我们会分别从片段递归,稀疏注意力机制和矩阵降维几个方向,聊聊更高效的Transformer魔改方案 阅读全文
posted @ 2022-10-08 10:36 风雨中的小七 阅读(520) 评论(0) 推荐(0) 编辑
摘要: Bert不完全手册8. 预训练不要停!Continue Pretraining 论文针对预训练语料和领域分布,以及任务分布之间的差异,提出了DAPT领域适应预训练(domain-adaptive pretraining)和TAPT任务适应预训练(task-adaptive pretraining)两种继续预训练方案,并在医学论文,计算机论文,新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练,不过算是开启了新的训练范式,从之前的pretrain+fintune,到pretrain+continue pretrain+finetune 阅读全文
posted @ 2022-09-15 20:09 风雨中的小七 阅读(509) 评论(0) 推荐(1) 编辑
摘要: 小样本利器3. 半监督最小熵正则 MinEnt & PseudoLabel代码实现 在前两章中我们已经聊过对抗学习FGM,一致性正则Temporal等方案,主要通过约束模型对细微的样本扰动给出一致性的预测,推动决策边界更加平滑。这一章我们主要针对低密度分离假设,聊聊如何使用未标注数据来推动决策边界向低密度区移动,相关代码实现详见[ClassicSolution/enhancement] 阅读全文
posted @ 2022-08-30 07:35 风雨中的小七 阅读(466) 评论(0) 推荐(0) 编辑
摘要: Bert不完全手册7. 为Bert注入知识的力量 Baidu-ERNIE & THU-ERNIE & KBert 借着ACL2022一篇知识增强Tutorial的东风,我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总,这一章我们只针对NLU领域3个比较经典的知识增强方案Baidu-ERNIE,THU-ERNIE和K-Bert来聊下具体实现~ 阅读全文
posted @ 2022-08-18 08:50 风雨中的小七 阅读(407) 评论(0) 推荐(1) 编辑
摘要: Bert不完全手册6. Bert在中文领域的尝试 Bert-WWM & MacBert & ChineseBert 这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM,MacBert,ChineseBert主要从3个方向在预训练中补充中文文本的信息:词粒度信息,中文笔画信息,拼音信息。与其说是推荐帖,可能更多需要客观看待以下'中文'改良的在实际应用中的效果~ 阅读全文
posted @ 2022-07-28 07:57 风雨中的小七 阅读(815) 评论(0) 推荐(0) 编辑
摘要: 小样本利器2.文本对抗+半监督 FGSM & VAT & FGM代码实现 这一章我们结合FGSM,FGM,VAT看下如何使用对抗训练,以及对抗训练结合半监督来提升模型的鲁棒性。其中FGSM主要论述了对抗样本存在性和对抗训练提升模型鲁棒性的原因,VAT的两篇是对抗在CV领域应用的论文,而FGM是CV迁移到NLP的实现方案,一作都是同一位作者大大,在施工中的Simple Classification提供了FGM的tensorflow实现~ 阅读全文
posted @ 2022-06-28 21:24 风雨中的小七 阅读(612) 评论(0) 推荐(0) 编辑