多模态学习

首先，什么是多模态，自然界中视觉、听觉、嗅觉、味觉、触觉、文字等都是表示物体的一种模态信息。我们大脑中也有对不同模态信息的感受区域。
那什么是多模态学习？我的理解是通过大脑中不同模态的感受器，获取多模态信息，再由大脑中的决策区域，学习实现识别、理解、甚至推理、表达、行动等操作。

Baltrušaitis等人在2018年TPAMI的一篇文章[1]中，将常见的多模态研究分为以下五类：

1.表征。如何挖掘模态间的互补性或独立性以表征多模态数据。

2.翻译。学习一个模态到其他模态的映射。例如：图像描述任务。

3.对齐。将多模态数据的子元素进行对齐。例如将一幅图中的多个物体与一段话中的短语(或单词)进行对齐。

4.融合。融合两个模态的数据，用来进行某种预测。例如：视觉问答任务需融合图像和问题来预测答案。

5.联合学习(co-learning)。模态间的知识迁移。使用辅助模态训练的网络可以帮助当前模态的学习，尤其是当前模态数据量较小的情况下。

---

[1]Baltrušaitis T, Ahuja C, Morency L P. Multimodal machine learning: A survey and taxonomy[J]. IEEE transactions on pattern analysis and machine intelligence, 2018, 41(2): 423-443.