摘要: 预训练+微调在下游任务上确实取得了很好的效果,但是在没有监督数据微调的情况下,使用预训练模型表征文本语义时效果却很差,不如直接使用词向量来表征文本。记得在BERT刚出来的时候,使用BERT做无监督语义相似度的任务时,计算出来的句子之间的余弦相似度值都很高,导致正负样本之间的区分度不高,当时并不明白是 阅读全文
posted @ 2022-06-20 16:30 微笑sun 阅读(637) 评论(0) 推荐(0) 编辑