TABball

摘要： Motivation 现有的方法是在训练前阶段或微调阶段利用文本的语法，使这两个阶段之间存在差异。 Existing methods utilize syntax of text either in the pre-training stage or in the fine-tuning stage 阅读全文

摘要： Motivation 微调实际上是利用大型预训练过的语言模型来执行下游任务的一种方法。但是，它会修改所有的语言模型参数，因此需要为每个任务存储一个完整的副本。 因此，要构建和部署依赖于大型预训练的LM的NLP系统，目前需要为每个任务存储一个修改后的LM参数副本。考虑到目前的lms的大规模，这可能会非 阅读全文

摘要： Motivation 控制文本生成的风格是一个比较困难的文本生成问题，在不修改模型结构的基础上去控制更加困难。 Introduction 本文提出了一个将语言模型和一个额外的属性分类器结合在一起的方法，可以方便控制文本生成的风格和主题（topic）。 Method 在计算机视觉领域，有研究控制图像风 阅读全文

摘要： 原文链接 Neural Module Networks（NMNs） 在本文中，作者将传统NMNs扩展于从段落式的文本中进行统计计算等。 考虑如图1所示的情景，多步推理需要回答下面的问题： 找到段落中所有“field goal”的实体。 选择在“第二节”中的。 找到它们的长度。 计算最长长度。 找到“ 阅读全文

摘要： 原文链接 motivation 本文研究发现，BERT等预训练模型经常会关注文本的语义特征进行推理，而不是去学习句子表达的逻辑。 COPA COPA任务关注于寻找给定前提（premise）的情况下的因（causal）或果（effect），如下面的例子。 Premise: The man broke 阅读全文

摘要： 原文链接 motivation 基于远程监督的NER方法（DS-NER）通过通过在普通话文本匹配字典中的实体，自动的生成训练数据，训练NER模型，减少了标注成本。 然而，DS-NER是存在字典偏差的，这严重地影响了模型的泛化型和鲁棒性。具体来讲，实体字典通常都是不完整的（缺少实体），含有噪音（有错误 阅读全文

摘要： Motivation 在命名体识别领域，由于选择偏差的存在，模型对于训练和测试分布不一样的数据表现很差，这背后的原因就是模型学习了数据中表现出的虚假因果关系。在这篇文章中，我们从因果角度主要研究NER问题中的虚假关联。我们将这个问题拆解成两部分：实体和上下文。考虑句子“John lives in N 阅读全文

摘要： 原文链接 介绍 在图像识别和目标分类领域往往存在一些关于图像中虚假相关性的问题，最典型的如将图像中识别的主体（object）和背景（background）之间的相关性考虑成为识别主题类别的一个主要特征。如下图所示，注意力模型将ground作为一个判断为鸟类的标签，在预测地上的熊的时候就做出了错误的判 阅读全文

摘要： 原文链接 介绍 从结构化数据中自动生成文本描述提高了知识库对普通用户的可访问性。这些应用包括向非专家解释数据记录，撰写体育新闻，总结多个文档中的信息，并生成对话回应。 数据到文本这个领域依然有很多挑战：首先，它们采用扁平的数据本体结构，例如数据记录的槽值对或者表格的扁平形式。这种扁平化的结构不足以在 阅读全文

摘要： 原文 介绍 Scenario-based question answering（SQA）回答的是基于场景的问题，它的输入既有文本信息也有结构化数据，应用场景之一就是在高校的地理考试中，从图表中回答问题，这种情况普通的阅读理解任务做不了，也需要从自然语言中进行推理。因此，一个研究方向就是：能否让SQA 阅读全文