论文笔记:Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering

Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering

2019-04-25 21:43:11

Paperhttps://arxiv.org/pdf/1904.04357.pdf 

Codehttps://github.com/fanchenyou/HME-VideoQA 

 

1. Background and Motivation: 

用 Memory Network 做视觉问题回答并不是特别新鲜,因为 CVPR-2018 已经有很多工作,都是用这种外部记忆网络来进行知识的读取,从而更好的辅助 VQA。但是本文做的是另外一种 task,video question answer,相对来说,视频的肯定要更难一些。如何很好的根据问题,到视频中去定位相关的视频帧,从而更好的完成问题回答,是一个需要关注的问题之一。

 

现有的方法都尝试对视频或者问题进行 attend 处理,以得到更好的结果:

1. Jang et al. 对视频特征的空间和时间维度都进行加权处理(spato-temporal attention mechansim on both spatial and temporal dimension of video features);他们也提出用 VGG 和 C3D 来提取 appearance 和 motion feature 来更好的表达视频帧;但是他们采用前期融合的方法,然后输入到 video encoder 中,这种方式得到的效果,并不是最优的;

2. Gao et al. 提出用更先进的 co-attention mechanism 来替换掉 Jang 的前期融合的方法;但是这种方法并没有同速进行 appearance 和 motion feature 检测到的 attention;与此同时,这种方法也丢失了可以从表观和运动特征中得到的 attention;

作者认为:现有方法未能正确的识别 attention,是因为他们分开进行了特征的融合 (feature integration) 和注意力学习 (attention learning) 的步骤;为了解决这一问题,作者提出一种新的多种记忆(heterogeneous memory)来同时完成融合 appearance and motion features 以及 learning spatio-temporal attention

 

另外,如果 question 有非常复杂的语义信息,那么 VideoQA 就会变得异常复杂,从而需要多个步骤的推理。现有的方法都是简单的用 Memory Network 来处理这种情况,但是作者认为他们的方法太多简单,用 LSTM 或者 GRU 得到的 single feature vector 缺乏捕获问题中复杂语义的能力,如图 1 所示。所以,就需要设计一种新的模型来理解问题中复杂的语义信息。为了解决这一问题,作者提出一种新的网络结构,尝试将 question encoder 和 question memory 来互相增强question encoder 学习问题的有意义表达,然后重新设计 question memory 来理解复杂的语义,然后通过存储和更新全局内容来强调检索的物体。

 

此外,作者也设计了一种多模态融合层,通过对齐相关视觉内容和关键问题单词,来同时对 visual 和 question hints 进行加权处理。在逐渐优化联合 attention 之后,再将其进行加权融合,然后进行 multi-step reasoning,以从复杂的语义中进行正确答案的推理。

 

 

 

2. The Proposed Method: 

2.1 Video and Text Representation: 

对于 video,作者用 Resnet, VGG 和 C3D 模型来提取 appearance and motion feature, $f^a, f^m$. 然后用两支 LSTM 模型分别对 motion and appearance features 进行处理,最终放到 memory network 中进行特征融合;

对于 question,先用 Glove 300-D 得到 embedding,然后用 LSTM 对这些向量进行处理。

 

 

2.2 Heterogeneous Video Memory

与常规的 external memory network 不同,作者新设计的网络处理多个输入,包括编码的 motion feature,appearance feature;用多个 write heads 来决定内容的写入,如图 3 所示。其中的 memory slots M = [m1, m2, ... , ms] 以及 三个 hidden states $h^m, h^a$ and $h^v$。前两个 hidden state $h^m$ 和 $h^a$ 用来表示 motion 和 appearance contents,将会写入到记忆中,$h^v$ 用于存贮和输出 global context-aware feature,该特征是融合了 motion 和 appearance information 的。

 

 

 

 

 

 

2.3 External Question Memory

该问题记忆的目标是存贮 sequential text information,学习不同单词之间的相关性,并且尝试从全局的角度来理解问题。

 

 

 

2.4 Multi-modal Fusion and Reasoning 

如上图所示,该模块的输入是 视频特征,问题的特征。核心之处在于 LSTM,其隐层状态记为 s,在每次迭代的过程中,该控制器会尝试 attend 到  video feature 和 question feature 的不同部分,然后将这些特征与学习到的权重,进行结合,然后更新其 hidden state $s_t$。

Temporal Attention在第 t-th 迭代中,我们首先通过 attend 不同视觉特征,问题特征的不同部分,产生两个 content vector。然后 temporal attention weights 可以计算如下:

然后,加权之后的 content vector c,以及转换的 d 计算如下:

 

Multimodal Fusion:通过将转换之后的 content vector d 和 之前的 hidden states $s_{t-1}$ 进行交互,得到多模态 attention weights:

 

最终融合的知识 $x_t$ 可以通过与权重的加权求和得到:

 

Multi-step reasoning: 为了得到第 t-th 迭代的推理结果,我们用 LSTM 来更新 hidden state,即:$s_t =  LSTM(x_t, s_{t-1})$。这个推理过程进行了 L 次(实验中设置为 3 次)。最后一次迭代的结果 $s_{L}$ 记为 distilled knowledge 的最终表达。我们也采用了标准的 temporal attention 在编码的 video feature,并且将其与 $s_L$ 进行组合,得到最终的答案表达 $s_A$。

 

2.5 Answer Generation

Multiple-choice: 是从多个候选答案中,选择一个正确的答案。我们将 question 和 每一个候选的 answer 分别组合起来,并且将 QA pair 进行前传,得到最终的 answer feature,我们用 linear layer 来对所有的候选答案进行打分。在训练过程中,我们最小化 positive answer 和 each negative answer 的 pairwise hinge loss:

 

我们可以端到端的进行网络的训练。在测试的时候,我们选择一个具有最高得分的 answer 作为最终的答案。

 

Open-ended task is to choose one correct word as the answer from a pre-defined answer set of size C. 作者这里采用 linear layer 和 softmax function,来预测所有候选答案的概率。训练的误差用交叉熵损失来衡量:

 

其中,y 是 gt label。测试的时候,也是从中选择一个最大得分的候选,作为 final answer:$c^* = arg max_c (P)$。

 

疑问:看到这里,我表示有点疑惑,都是从中选择一个响应最大的作为 final answer,为啥搞这两种看似不同的方式? 

 

3. Experiments:

 

==

posted @ 2019-04-25 21:46  AHU-WangXiao  阅读(1217)  评论(0编辑  收藏  举报