PrismAgent：基于零样本可解释多智能体框架的模因危害性挖掘
一、基础信息
- 标题
- 英文：PrismAgent: Illuminating Harm in Memes via a Zero-Shot Interpretable Multi-Agent Framework
- 中文：PrismAgent：基于零样本可解释多智能体框架的模因危害性挖掘
- 作者
- Zihan Ding¹、Ziyuan Yang²、Yi Zhang¹（* 通讯作者）
- 单位：¹ 四川大学 ² 新加坡南洋理工大学
- 来源：arXiv 预印本（cs.LG 机器学习方向）
- 发布时间：2026 年 5 月 1 日（arXiv:2605.02940v1）
二、研究背景与问题
（一）研究动机（现有方法不足）
- 数据依赖严重：传统有害模因检测依赖大规模标注数据，训练成本高，易过拟合训练分布，泛化性差，无法适配快速演变的模因内容。
- 语义理解困难：模因语义隐含，依赖文化常识、视觉符号、多模态反讽，单步预测模型难以捕捉潜在真实意图。
- 可解释性缺失：现有多智能体框架在零样本场景下，无法充分解决模因隐喻的可解释推理问题。
（二）研究问题
在零样本、无标注数据依赖的前提下，实现高检测精度、高可解释性的有害模因检测，同时适配模因的动态演变特性。
三、Methods 小节详细笔记
3.1 Overview（框架概述）
- 核心定位：零样本、多智能体、可解释的有害模因检测框架，模拟刑事侦查全流程。
- 智能体分工：分析师→调查员→检察官→法官，四智能体协作完成检测。
- 核心优势：无需训练、无标注数据依赖；显式多阶段推理链，决策全程可解释。
- 流程逻辑：意图挖掘→证据检索→初步判决→最终仲裁。
3.2 Analyst Agent（分析师智能体）
- 核心目标：放大模因隐含意图，从善意 / 恶意两种对立传播意图出发改写模因。
- 执行步骤
- 输入原始模因
（V = 视觉，T = 文本）。$M_{ori}=\{V,T\}$
- 按善意提示 Pb生成善意改写版 Mb，按恶意提示Pm生成恶意改写版 Mm
输出集合：$\{M_{ori}, M_b, M_m\}$，保留原语言风格与语境。
- 公式
$M_{b}= Agent _{Ana }\left(M_{ori }, P_{b}\right)$
$M_{m}= Agent _{Ana }\left(M_{ori }, P_{m}\right)$
3.3 Investigator Agent（调查员智能体）
- 核心目标：从未标注参考数据集检索证据，构建模因上下文解释。
- 执行步骤
- 证据检索：用匹配函数 f(⋅)从$D_{ref}$检索 top-3 相似模因作为证据$Q_{evi}$
- 逐步解读：按相似度降序整合证据，生成上下文解释 $O_i$
- 动态适配：部署阶段可实时扩展数据集，适配新模因趋势。
- 公式
$\mathcal{O}_{i}= Agent _{Inv }\left(M_{evi }^{i}, \mathcal{O}_{i-1}, P_{int }\right)$
3.4 Prosecutor Agent（检察官智能体）
- 核心目标：分视角做危害性初步判断，校验结论一致性。
- 执行步骤
- 分别将原始 / 善意 / 恶意版本与对应上下文解释结合，生成 3 次独立判决
- 一致性判断：3 次结论一致则直接定案；不一致则移交法官仲裁。
- 公式
3.5 Judge Agent（法官智能体）
- 核心目标：整合所有证据与矛盾点，输出可解释的最终判决。
- 执行步骤
- 核心表征生成：复用证据$Q_{evi}$
总结相似模因的共性主题、表达手法。
- 矛盾仲裁：聚焦争议核心，结合原始模因、证据、核心表征做最终判决。
- 公式
四、Experiment
（一）实验数据集
采用 3 个公开有害模因数据集，训练集仅用于检索，不参与训练，严格保持零样本设定：
- HarM：新冠相关模因，合并 “极有害 / 部分有害” 为有害类。
- FHM：Facebook 仇恨模因挑战数据集。
- MAMI：针对女性的贬损性模因数据集。
（二）Baselines（对比方法）
- 监督训练方法：Late Fusion、MOMENTA。
- 零样本方法
- 闭源 VLM：GPT-4o、Gemini-2.0-Flash。
- 开源 VLM：LLaVA 系列、InstructBLIP、MiniGPT-v2、OpenFlamingo。
- 智能体方法：MIND（当前最优零样本有害模因检测框架）。
（三）实验内容、结果与结论
1. 有害模因检测主实验
- 内容：在 3 个数据集上对比所有基线的准确率、宏 F1。
- 结果
- PrismAgent 全面优于现有零样本方法，比 MIND 平均精度 + 2.23%、宏 F1+2.78%。
- 13B 参数 backbone 性能媲美 34B 大模型，效率与推理能力突出。
- 结论：框架检测性能显著优于现有方法。
2. 泛化性实验
- 内容：适配开源 / 闭源不同 VLM backbone，验证框架通用性。
- 结果：在所有模型上均提升性能，LLaVA-1.6-34B 上平均精度 + 2.79%、宏 F1+4.43%。
- 结论：框架适配性强，可无缝集成不同视觉语言模型。
3. 消融实验
- 内容：移除任一智能体（分析师 / 调查员 / 检察官 / 法官），测试性能变化。
- 结果：移除任意组件性能均显著下降。
- 结论：四智能体协同是框架性能的核心保障。
4. 分析师智能体实验
- 内容：验证双意图改写 + 多版本输入的有效性。
- 结果：多版本输入显著提升性能，缓解数据集类别不平衡问题。
- 结论：对立意图改写有效放大模因潜在语义。
5. 检察官智能体实验
- 内容：测试检索证据数量 k 对性能的影响。
- 结果：k=7 时性能最优，平衡证据覆盖度与相关性。
- 结论：合理的证据数量可避免噪声干扰。
（四）实验总结论
PrismAgent 在零样本设定下，实现更优的有害模因检测精度，同时具备高可解释性、强泛化性、强鲁棒性，可适配模因的动态演变。
五、论文核心观点与贡献
- 框架创新：提出首个模拟刑事侦查流程的零样本多智能体可解释框架，将检测拆解为结构化子任务。
- 推理创新：设计显式多阶段推理链，全程可解释，解决模因隐含语义理解难题。
- 效果验证：在 3 个公开数据集上超越现有 SOTA 零样本方法，泛化性与鲁棒性突出。
- 应用价值：无需标注数据、无需训练，可实时部署适配社交媒体模因治理。
浙公网安备 33010602011771号