2022年3月30日
Bert不完全手册4. 绕开BERT的MASK策略？XLNET & ELECTRA
摘要： Bert不完全手册4. 绕开BERT的MASK策略？XLNET & ELECTRA 掩码是Bert实现双向理解的核心，但是掩码存在预训练和微调的不一致性，以及15%掩码带来的训练低效性~那能否绕过MASK策略来捕捉双向上下文信息呢？下面介绍两种方案XLNET，Electra，它们分别通过乱序排列语言模型，和生成器-判别器的方案实现了不依赖MASK的双向语言模型。正在施工中的代码库也接入了这两种预训练模型，同时支持半监督，领域迁移，降噪loss，蒸馏等模型优化项，感兴趣的戳这里>>SimpleClassification 阅读全文
posted @ 2022-03-30 09:01 风雨中的小七 阅读(1049) 评论(0) 推荐(0)