KG4MM：融合知识图谱与多模态数据预测药物相互作用

知识图谱（Knowledge Graph, KG）作为表示不同实体间复杂关系的有效工具，已得到广泛应用。通过将信息编码为节点（实体）和边（关系），知识图谱简化了关联信息的追踪与分析。用于多模态学习的知识图谱（Knowledge Graphs for Multimodal Learning, KG4MM）借鉴了这一思想，利用知识图谱指导从图像和文本等多模态数据中进行学习。在 KG4MM 框架中，知识图谱充当结构化先验知识，引导模型在训练过程中关注每种数据模态中的关键信息。这种引导机制有助于模型聚焦于图像中最具区分性的特征以及文本中最具信息量的词汇。
在药物相互作用（Drug-Drug Interaction, DDI）预测领域，KG4MM 展现出显著优势。知识图谱结构能够将药物的分子图像表示和文本描述整合至统一框架内。这种整合视图通过同时捕获药物的化学结构信息和药理学背景知识，支持更精确的 DDI 预测。知识图谱为模型的预测过程提供了透明的推理路径，使得理解模型预测结果的依据更为便捷，增强了模型的可解释性。

本文旨在阐述 KG4MM 在 DDI 预测任务中的具体实现。文章将分步介绍知识图谱的构建过程，以及如何整合药物的分子结构信息和文本描述信息。通过具体实例，本文将演示知识图谱引导下的多模态学习如何应对医学与医疗保健研究中的实际挑战。其核心目标是展示 KG4MM 如何在真实的 DDI 预测任务中提升预测的准确性与可解释性。

 

https://avoid.overfit.cn/post/8554f06c46fc4472ba1cb109dbb0b53b