12 2021 档案
摘要:原文链接 motivation 本文研究发现,BERT等预训练模型经常会关注文本的语义特征进行推理,而不是去学习句子表达的逻辑。 COPA COPA任务关注于寻找给定前提(premise)的情况下的因(causal)或果(effect),如下面的例子。 Premise: The man broke
阅读全文
摘要:原文链接 motivation 基于远程监督的NER方法(DS-NER)通过通过在普通话文本匹配字典中的实体,自动的生成训练数据,训练NER模型,减少了标注成本。 然而,DS-NER是存在字典偏差的,这严重地影响了模型的泛化型和鲁棒性。具体来讲,实体字典通常都是不完整的(缺少实体),含有噪音(有错误
阅读全文
摘要:Motivation 在命名体识别领域,由于选择偏差的存在,模型对于训练和测试分布不一样的数据表现很差,这背后的原因就是模型学习了数据中表现出的虚假因果关系。在这篇文章中,我们从因果角度主要研究NER问题中的虚假关联。我们将这个问题拆解成两部分:实体和上下文。考虑句子“John lives in N
阅读全文
摘要:原文链接 介绍 在图像识别和目标分类领域往往存在一些关于图像中虚假相关性的问题,最典型的如将图像中识别的主体(object)和背景(background)之间的相关性考虑成为识别主题类别的一个主要特征。如下图所示,注意力模型将ground作为一个判断为鸟类的标签,在预测地上的熊的时候就做出了错误的判
阅读全文

浙公网安备 33010602011771号