Multi-Modal Sarcasm Detection via Cross-Modal Graph Convolutional Network

1）Multi-Modal Sarcasm Detection via Cross-Modal Graph Convolutional Network

基于跨模态图卷积网络的多模态讽刺识别

论文作者：梁斌徐睿峰哈尔滨工业大学 2022ACL

论文地址：https://aclanthology.org/2022.acl-long.124.pdf

2）Multi-Modal Sarcasm Detection with Interactive In-Modal and Cross-Modal Graphs

基于交互式模态内和跨模态图的多模态讽刺识别

论文作者：梁斌徐睿峰哈尔滨工业大学 2021ACM

论文地址：https://dl.acm.org/doi/pdf/10.1145/3474085.3475190

一、摘要

本文提出了一种有效的基于跨模态图的多模态讽刺识别模型。我们发现，在多模态讽刺识别任务中，对于图片模态，直接学习整个图片的信息很困难，且图片中存在很多与讽刺识别无关的视觉信息。为此，首先使用目标检测（object detection）来识别图片中的重要视觉块以及视觉块的对应描述。随后，将视觉块的描述作为一座桥梁，将离散的视觉块和文本连接起来，构造跨模态关系图。同时，通过引入外部情感知识，进一步挖掘不同模态间的情感不一致性，从而有效识别多模态数据中的讽刺信息。在公开数据集的实验结果表明，本文提出的模型取得了最佳性能。

模型

文章提出的模型CMGCN包含四个组成部分：

1）文本模态表示

2）图片模态表示

3）跨模态图

模型图右上角权重计算公式：