Neural Multimodal Cooperative Learning Toward Micro-Video Understanding学习笔记

1 摘要

为了更好的估计微视频所在的场所，这篇论文提出了一个neural multimodal cooperative learning model。

在correlation中区分consistent部分和complementary部分

2 引入

对于微视频来说，识别特定的地理信息是非常难的。但是，识别venue category却是有迹可循。
但是多模态融合目前的方法限于两个问题:
* 只融合不同模态中的consistent部分，忽视其他含有很多信息特征的其他部分。
* 或者是，同时关注了consistent部分和complementary部分，却无法在correlation中区分consistent部分与complementary部分。

To solve problem 1:
关注了the cooperative relation，包括consisten部分和complementary部分。
consistent components--->the same information appearing in more than one modality in different forms
complementary components--->the exclusive information appearing only in one modality
To solve problem 2:
提出了deep multimodal cooperative learning approach，能够清晰地区分不同模态之间的correlation。

3 数据收集与处理

3.1 数据收集

利用API从Vine平台收集了24000个包含Foursquare信息的微视频。
删除重复的场所ID之后，我们通过API抓取每个场所ID中的所有视频，进一步扩展了视频集，得到了276264个视频，分布于442个Foursquare场所ID。
几个类别包含有限数量的微型视频来训练鲁棒的分类器。因此，把少于50个微视频删除。
最终，我们在188个Foursquare场地类别中获得了270,145个微视频。

3.2 数据处理

视觉特征
* 利用OpenCV，从每个微视频中提取关键帧
* 利用ResNet从每个关键帧中提取特征（We applied the ResNet model to extract the visual features through the publicly available Caffe）
* 每个微视频得到一个2048维向量
音频特征
* FFmpeg将音轨与每个微型视频分开
* 将磁道转换为统一格式：22,050Hz，16位，带脉冲编码调制信号的单通道，并通过librosa执行了具有46ms窗口和50％重叠的频谱图。
* 采用theano通过DAE提取音频特征（DAE在外部120,000个微视频集上进行了预训练，包含三个隐藏层，每个层上有500、400和300个神经元。）
* 最后得到200维的向量
文本特征
* 应用了Sentence2Vector工具为每个微视频提取了一个文本集，生成100维向量。

3.3 数据补充

利用了低秩矩阵分解对数据进行补充。

4 neural multimodal cooperative learning model网络结构

4.1 Cooperative netwworks（以视觉作为host为例解释）

assign each dimension of features with a relation score
divide the features into the consistent part and the complementary part

4.1.1 assign relation score

将音频特征向量和文本特征向量融合起来
计算relation score
higher score--->consistent
lower score--->complementary
计算host score vector,利用一个单隐层和一个softmax层，其中权重参数W是可学习的，之后会进行训练。

类似的，计算guest score vector。

4.1.2 divide consistent and complementary

设定一个可训练的阈值，利用这个阈值进行区分consistent和complementary
由上一个步骤得到的两个score（host score vector、guest score vector），分别进行判断：
大于阈值，计入consistent vector

小于阈值，计入complementary vector
由于原始函数不是连续的，因此我们引入了sigmoid函数以使其具有可区分性
利用得到的四个correlation weight vector，与最初得到的host vector和guest vector进行张量积

最后得到两个complementary vector
和两个consistent vector
学习一个增强的consistent vector
为了充分利用consistent vectors对之间的相关性，将这些向量连接起来，并将其馈入神经网络以学习增强的consistent vector
最后得到一个已经将consistent和complementary分开的向量，其中α代表complementary，β代表consistent