De-Confounded Variational Encoder-Decoder for LogicalTable-to-Text Generation
介绍
数据到文本的生成方法指的是从非文本的输入中生成描述性文本的任务。输入种类不同，任务可以定义地更加明确，比如摘要信息生成文本，信息框生成文本，图生成文本。
在这些任务中，我们关注逻辑表到文本的生成任务，这项任务旨在从表格生成流畅的但是逻辑正确的文本。而逻辑推理是一种高级的智能，这对现实中的文本生成系统时比较困难的。现实中的句子往往表达的是逻辑推理信息，这些信息在表格中并不会显式地出现。所以，数据驱动的模型往往生成语义流畅但是逻辑不正确的文本。最近的关于这项任务的研究主要在预使用像GPT-2一样的预训练模型，它们相比于没有预训练的模型表现出了更加优秀的效果。
然而，预训练语言模型能否正确捕捉到逻辑信息还存在争议，因为预训练语言模型比如BERT经常会使用虚假的统计信息来进行推理。一个潜在的挑战不是在于是否使用预训练模型，而是表格与文本之间的表层虚假关联比因果相关性更容易捕捉。比如，我们观察了一个在与GPT-2相关的模型生成了“The al-bum was released in the United States 2 time”，然而实际上应该是在英国而不是美国。在训练阶段，模型可能可以通过表层的相关性减少损失，而没有关注选择的实体。因此，在推理阶段，模型可能会产生错误的预测。
在这篇文章中，我们从因果推理的角度来看待逻辑表到文本的生成，并提出了一个解混杂的变分编码器-解码器（DCVED），首先，给定表格-句子对\((x, y)\)，我们假设混淆因子\(Z_c\)存在于一个不可观测的空间，并且产生了表层的相关性（比如“美国”和“英国”）。我们基于变分推断来评估潜在空间的\(Z_c\)，并且使用皮埃尔的do运算来学习目标\(p(y|do(x))\)，而不是\(p(y|x)\)。然后，我们提出了一个后向预测的流程来确保潜在混淆因子\(Z_c\)可以预测没有使用的实体但是却恰好与选择的实体语法相似。我们也考虑将选择的实体作为我们混淆结构模型的中介。最后，因为我们变分模型可以生成多种备选句子，我们训练了一个表格-文本选择器来寻找针对表格的最佳文本。一系列的扩展实验说明我们的模型在两个逻辑表到文本的数据集上的逻辑保真度达到了新的SOTA效果。
我们这篇工作的主要贡献如下：
- 我们提出使用变分推断来评估潜在空间的混淆因子，并且让黑箱预测的潜在变量变得有意义。
- 我们提出了一个生成然后选择的范式，它联合地考虑浅层和逻辑层面的保真度，可以看作是强化学习的一种替代方法。
- 实验说明了我们的模型无论是否预训练，都在两个逻辑表格-文本的数据集上得到了SOTA的效果。
背景
在介绍我们的模型之前，我们简要的介绍一下VAE，这是一个生成模型，可以从一个连续空间生成高维的样例。在概率模型框架中，数据\(x\)的概率可以这样计算：
