摘要: BERT是NLP领域让预训练这件事情出圈的工作。 开篇Introduction介绍了两类主流的预训练方法: 1、feature-based,即基于特征的,即我首先通过预训练得到一些比较好的特征,然后将这些特征作为额外的训练数据输入到模型中,从而使得模型在训练起来变得容易很多; 2、fine-tuni 阅读全文
posted @ 2023-02-23 21:33 爱和九九 阅读(81) 评论(0) 推荐(0)