Harukaze

 

2021年7月31日

【论文阅读】ALBERT: A Lite BERT for Self-supervised Learning of Language Representations[arXiv2019]

摘要： 论文地址：https://arxiv.org/abs/1909.11942v1 代码地址： ABSTRACT 提出减少BERT参数的方法，我们还使用了一个自我监督 loss，专注于建模句间连贯focuses on modeling inter-sentence coherence，并表明它始终有助于 阅读全文

posted @ 2021-07-31 20:06 Harukaze 阅读(634) 评论(0) 推荐(0)

【论文阅读】RoBERTa: A Robustly Optimized BERT Pretraining Approach[arXiv2019]

摘要： 论文地址：https://arxiv.org/pdf/1907.11692.pdf 代码地址（Pytorch）：https://github.com/pytorch/fairseq 1 Introudce 我们提出了一项BERT预训练的复制研究（Devlin等人，2019年），其中包括仔细评估超参数 阅读全文

posted @ 2021-07-31 11:01 Harukaze 阅读(793) 评论(0) 推荐(0)

导航