HaluMem：首个面向智能体记忆系统的操作级幻觉评估基准

一、核心背景与问题

当前智能体（Agent）的记忆系统（如 Mem0、Zep 等）虽能提升长期交互能力，但在记忆存储、提取、更新全流程中频繁出现 “记忆幻觉”，具体表现为四类问题：

• 虚构：添加对话中未出现的信息（如无中生有 “用户讨厌咖啡”）；
• 错误：存储信息与事实不符（如将 “用户朋友叫 Joseph” 记为 “Mark”）；
• 冲突：新旧记忆矛盾（如同时存在 “用户健康良好” 与 “健康较差”）；
• 遗漏：未记录关键信息（如漏提 “用户花生过敏”）。

更关键的是，现有评估方法多采用端到端问答测试（如仅判断 “用户喜欢什么” 的回答是否正确），如同 “只看考试分数却不分析错题原因”，无法定位幻觉源自 “提取阶段漏记”“更新阶段错改” 还是 “问答阶段编造”，导致难以针对性优化记忆系统可靠性。

二、核心解决方案：HaluMem 基准设计

HaluMem 是首个面向记忆系统的操作级幻觉评估基准，核心通过 “拆分记忆流程 + 构建专用数据集”，实现幻觉的 “精准定位、量化评估”。 

1. 三大操作级评估任务（覆盖记忆全生命周期）

 将记忆系统的工作流程拆解为 3 个独立阶段，每个阶段设置 “黄金标准”（标准答案），可单独评估、定位幻觉来源：

 

评估任务	核心目标	幻觉定位场景
记忆提取（Extraction）	评估系统能否从对话中正确识别、存储关键信息，避免虚构 / 遗漏	若系统漏提 “用户不喜欢香菜”，则明确幻觉源自提取阶段
记忆更新（Updating）	测试系统接收新信息时，能否正确修改旧记忆、消除矛盾	若用户澄清 “预算从 1500 元改为 1600 元”，系统未更新旧记忆，则定位为更新阶段幻觉
记忆问答（Question Answering）	端到端测试记忆系统的最终输出准确性，反映上游幻觉的累积影响	若问答时虚构 “用户喜欢香菜”，可追溯至提取阶段漏记的根源

 

2. 两大高保真数据集（支撑多场景评估）

通过 “六阶段用户中心化流程”（虚拟用户构建→人生轨迹设计→事件流生成→会话记忆点标注→干扰对话注入→多类型问题生成），构建两个大规模数据集，覆盖常规与超长上下文场景：

• HaluMem-Medium：平均对话长度 1.5 万词，含 1.5 万 + 记忆点、3467 个测试问题，覆盖人物画像、事件、关系等记忆类型；
• HaluMem-Long：上下文长度超 100 万词（插入无关对话制造干扰），专门测试记忆系统在超长交互中的抗幻觉能力。

数据集特点：每个记忆点、更新操作均有明确标注，确保评估可追溯、无歧义；问题类型涵盖事实回忆、多跳推理、冲突判断等，全面检验记忆可靠性。

三、关键实验发现（揭示当前记忆系统短板）

基于 HaluMem 对 5 类主流记忆系统（Mem0、Mem0-Graph、Memobase、Supermemory、Zep）的评估，发现三大核心问题：

1. 提取阶段是 “幻觉源头”：所有系统的记忆召回率（正确提取关键信息的比例）低于 60%，准确性（提取信息的正确率）低于 62%—— 超半数关键信息被遗漏，且近 40% 提取内容存在虚构 / 错误（如 Supermemory 因 “过度提取” 导致错误率最高）；
2. 更新阶段 “链路断裂”：正确更新率均低于 50%（多数不足 30%），遗漏率超 50%—— 因前期提取的记忆不完整，导致后续 “无记忆可更新”；即使更新，也易因未对齐新旧信息产生冲突；
3. 问答阶段 “幻觉放大”：最佳系统的问答准确率仅 56%，且错误多源自上游提取 / 更新幻觉（如 Mem0 在长上下文下提取记忆量锐减，直接导致问答准确率下降 40%）；长文本干扰会进一步加剧幻觉传播。

四、核心价值与未来方向

1. 技术价值

• 突破 “黑箱评估” 局限：首次实现记忆系统幻觉的 “操作级定位”，为开发者提供 “诊断报告”（如明确 “问题在提取” 而非 “问答”），而非仅 “成绩单”；
• 标准化评估体系：提供统一的任务定义、数据集与量化指标（如记忆完整性、更新准确率、问答幻觉率），可横向对比不同记忆系统的性能；
• 超长上下文评估能力：HaluMem-Long 填补了 “百万级 token 场景下记忆可靠性评估” 的空白，贴合真实长期交互需求。 

2. 未来研究方向

论文建议聚焦两大方向：

1. 开发可解释、有约束的记忆操作机制（如结构化记忆存储、冲突自动检测），从源头抑制提取 / 更新阶段的幻觉；
2. 优化 “提取 - 更新 - 问答” 的链路协同（如通过反馈机制修正提取遗漏），避免上游错误累积放大。

总结

HaluMem 的核心创新在于：将记忆系统的 “幻觉评估” 从 “端到端黑箱测试” 推进到 “操作级细粒度诊断”。通过拆分流程、构建专用数据集，它不仅揭示了当前记忆系统的系统性缺陷，更为后续研发 “高可靠、低幻觉” 的记忆系统提供了关键评测工具，是智能体长期交互能力提升的重要基石。

论文：https://www.modelscope.cn/papers/2511.03506#