首页
新闻
博问
专区
闪存
班级
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
愿你我被算法温柔以待~
博客园
首页
新随笔
联系
订阅
管理
2023年1月7日
小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch
摘要:
在前面章节中,我们介绍了几种半监督方案包括一致性正则,FGM对抗,最小熵原则,mixup增强。MixMatch则是集各家所长,把上述方案中的SOTA都融合在一起实现了1+1+1>3的效果。我们以MixMatch为基准,一并介绍几种衍生方案MixText,UDA,FixMatch
阅读全文
posted @ 2023-01-07 09:33 风雨中的小七
阅读(117)
评论(0)
推荐(0)
编辑
2023年1月1日
聊聊损失函数1. 噪声鲁棒损失函数简析 & 代码实现
摘要:
今天来聊聊非常规的损失函数,第一章我们介绍当标注标签存在噪声时可以尝试的损失函数,这里的标签噪声主要指独立于特征分布的标签噪声
阅读全文
posted @ 2023-01-01 14:57 风雨中的小七
阅读(103)
评论(0)
推荐(0)
编辑
2022年11月27日
NLP手札1. 金融信息负面及主体判定方案梳理&代码实现
摘要:
这个系列会针对NLP比赛,经典问题的解决方案进行梳理并给出代码复现~算是找个理由把代码从TF搬运到torch。Chapter1是CCF BDC2019的赛题:金融信息负面及主体判定,属于实体关联的情感分类任务,相关代码实现以及Top方案梳理详见ClassisSolution/fin_new_entity
阅读全文
posted @ 2022-11-27 10:16 风雨中的小七
阅读(221)
评论(0)
推荐(0)
编辑
2022年10月30日
小样本利器4. 正则化+数据增强 Mixup Family代码实现
摘要:
这一章我们介绍嵌入模型的增强&正则化方案Mixup和Manifold Mixup,方法朴实无华,效果亲测有效~
阅读全文
posted @ 2022-10-30 13:54 风雨中的小七
阅读(312)
评论(0)
推荐(0)
编辑
2022年10月8日
Bert不完全手册9. 长文本建模 BigBird & Longformer & Reformer & Performer
摘要:
这一章我们来唠唠如何优化BERT对文本长度的限制,核心是对Transformer计算效率的优化,我们会分别从片段递归,稀疏注意力机制和矩阵降维几个方向,聊聊更高效的Transformer魔改方案
阅读全文
posted @ 2022-10-08 10:36 风雨中的小七
阅读(520)
评论(0)
推荐(0)
编辑
2022年9月15日
Bert不完全手册8. 预训练不要停!Continue Pretraining
摘要:
论文针对预训练语料和领域分布,以及任务分布之间的差异,提出了DAPT领域适应预训练(domain-adaptive pretraining)和TAPT任务适应预训练(task-adaptive pretraining)两种继续预训练方案,并在医学论文,计算机论文,新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练,不过算是开启了新的训练范式,从之前的pretrain+fintune,到pretrain+continue pretrain+finetune
阅读全文
posted @ 2022-09-15 20:09 风雨中的小七
阅读(509)
评论(0)
推荐(1)
编辑
2022年8月30日
小样本利器3. 半监督最小熵正则 MinEnt & PseudoLabel代码实现
摘要:
在前两章中我们已经聊过对抗学习FGM,一致性正则Temporal等方案,主要通过约束模型对细微的样本扰动给出一致性的预测,推动决策边界更加平滑。这一章我们主要针对低密度分离假设,聊聊如何使用未标注数据来推动决策边界向低密度区移动,相关代码实现详见[ClassicSolution/enhancement]
阅读全文
posted @ 2022-08-30 07:35 风雨中的小七
阅读(466)
评论(0)
推荐(0)
编辑
2022年8月18日
Bert不完全手册7. 为Bert注入知识的力量 Baidu-ERNIE & THU-ERNIE & KBert
摘要:
借着ACL2022一篇知识增强Tutorial的东风,我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总,这一章我们只针对NLU领域3个比较经典的知识增强方案Baidu-ERNIE,THU-ERNIE和K-Bert来聊下具体实现~
阅读全文
posted @ 2022-08-18 08:50 风雨中的小七
阅读(407)
评论(0)
推荐(1)
编辑
2022年7月28日
Bert不完全手册6. Bert在中文领域的尝试 Bert-WWM & MacBert & ChineseBert
摘要:
这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM,MacBert,ChineseBert主要从3个方向在预训练中补充中文文本的信息:词粒度信息,中文笔画信息,拼音信息。与其说是推荐帖,可能更多需要客观看待以下'中文'改良的在实际应用中的效果~
阅读全文
posted @ 2022-07-28 07:57 风雨中的小七
阅读(815)
评论(0)
推荐(0)
编辑
2022年6月28日
小样本利器2.文本对抗+半监督 FGSM & VAT & FGM代码实现
摘要:
这一章我们结合FGSM,FGM,VAT看下如何使用对抗训练,以及对抗训练结合半监督来提升模型的鲁棒性。其中FGSM主要论述了对抗样本存在性和对抗训练提升模型鲁棒性的原因,VAT的两篇是对抗在CV领域应用的论文,而FGM是CV迁移到NLP的实现方案,一作都是同一位作者大大,在施工中的Simple Classification提供了FGM的tensorflow实现~
阅读全文
posted @ 2022-06-28 21:24 风雨中的小七
阅读(612)
评论(0)
推荐(0)
编辑
下一页