摘要: 方法: 首先,利用预训练模型 BERT在标注样本上学习到最优的提示模板;然后,在每条样本中补充提示模板和空缺,将文本分类任务转化为完形填空任务;最后,通过预测空缺位置的 填充词,结合填充词与标签之间的映射关系得到最终的标签。 原因: 文本分类任务通常依赖足量的标注数据,针对低资源场景下的分类模型在小 阅读全文
posted @ 2023-04-19 14:26 怂猫1999 阅读(397) 评论(0) 推荐(0)
摘要: 方法: 具体的来说,我们可以在生成模型G和判别模型D中同时加入条件约束来引导数据的生成过程。条件可以是任何补充的信息,如类标签,其它模态的数据等。然后这样的做法应用也很多,比如图像标注,利用text生成图片等等。 原因: 因为原始的GAN过于自由,训练会很容易失去方向,从而导致不稳定又效果差。而Co 阅读全文
posted @ 2023-04-19 14:24 怂猫1999 阅读(63) 评论(0) 推荐(0)
摘要: 方法: 基于GPT-3的强大功能:只要给出一个自然语言提示和一些任务演示,GPT-3就能够做出准确的预测,而无需更新其底层局域网的任何权重。 在一个更实际的场景中研究了少数镜头学习,在那里我们使用了更小的语言模型,其中的微调在计算上是有效的。我们提出了lm - bff(更好的语言模型的少量微调),这 阅读全文
posted @ 2023-04-16 16:19 怂猫1999 阅读(252) 评论(0) 推荐(0)