"Collaborative Memory: Multi-User Memory Sharing in LLM Agents with Dynamic Access Control" 论文笔记

一篇 LLM Agent 多用户协作记忆管理工作，目前挂在 Arxiv 25.05 上，针对多用户、多 Agent 场景下信息不对称和动态权限问题，提出了 Collaborative Memory 框架

背景

现有的 LLM Agent 记忆系统（如 MemGPT、MemTree、GraphRAG）主要集中在单用户、单 Agent 场景，假设集中式、全局可见的记忆存储。然而，在真实的企业级协作场景中（如企业助理、多用户生产力平台、分布式工作流系统），天然存在：

1. 信息不对称：不同用户有权访问不同的 Agent，每个 Agent 又连接不同的资源，记忆系统必须强制执行这些不对称性以防止未经授权的信息共享

2. 动态访问模式：随着角色、策略和任务需求的变化，用户的权限可能随时被授予或撤销

因此本文提出了 Collaborative Memory 框架，其主要研究一个核心问题：如何在最大化集体记忆效用的同时，确保信息共享符合谁、在何时、共享什么的细粒度权限约束

方法

整体框架

Collaborative Memory 的核心设计包含三大组件：动态二部访问图、双层记忆系统和细粒度读写策略。

动态二部访问图

将所有权限关系建模为随时间演变的二部图：

• 用户-Agent 图 \(G_{\mathcal{U},\mathcal{A}}(t) \subseteq \mathcal{U}\times \mathcal{A}\)：表示用户在时刻 \(t\) 可以调用哪些 Agent

• Agent-资源图 \(G_{\mathcal{A},\mathcal{R}}(t) \subseteq \mathcal{A}\times \mathcal{R}\)：表示 Agent 在时刻 \(t\) 可以访问哪些资源（工具、API、数据库等）

这种形式化方法支持权限的实时授予和撤销，为后续的记忆访问检查提供依据。

双层记忆系统

为了平衡隐私保护和知识共享，每个 Agent 维护两套记忆：

• 私有记忆 \(\mathcal{M}^{\mathrm{private}}\)：仅对产生该记忆的原始用户可见，存储敏感或个人化的信息

• 共享记忆 \(\mathcal{M}^{\mathrm{shared}}\)：可以在满足权限约束的条件下跨用户共享，存储通用知识

每条记忆片段 \(m\) 都带有不可篡改的溯源属性：创建时间 \(\mathcal{T}(m)\)、贡献用户 \(\mathcal{U}(m)\)、涉及的 Agent 集合 \(\mathcal{A}(m)\) 和访问的资源集合 \(\mathcal{R}(m)\)。这些属性支持回溯式权限校验。

细粒度读写策略

读策略 \(\pi_{u,a,t}^{\mathrm{read}}\)：当 Agent \(a\) 服务用户 \(u\) 时，只能读取满足条件的记忆片段：

\[\mathcal{M}(u,a,t) = \left\{m \in \mathcal{M} \mid \mathcal{A}(m) \subseteq \mathcal{A}(u,t) \wedge \mathcal{R}(m) \subseteq \mathcal{R}(a,t)\right\} \]

即：记忆涉及的所有 Agent 必须都是当前用户可调用的，涉及的所有资源必须都是当前 Agent 可访问的。

写策略：分为私有写 \(\pi^{\mathrm{write/private}}\) 和共享写 \(\pi^{\mathrm{write/shared}}\)，可以对输出进行匿名化、脱敏、改写后再存入对应记忆层。

读写策略可以在系统级、用户级、Agent级、时间级等多个粒度进行配置，具有很高的灵活性。

Query Decoding 式的信息流转

结合论文中的 Pipeline 图可以发现，整个多 Agent 协作的处理流程可以概括为 Coordinator → Agents → Aggregator 的三阶段模式：

1. Coordinator：接收用户 Query，根据访问图和任务需求，选择下一个要调用的 Agent，输出 {"agent": ID, "subquery": ...}

2. Agents：被选中的 Agent 根据读策略获取可访问的记忆片段，结合可访问的资源生成响应，响应内容通过写策略更新记忆

3. Aggregator：当 Coordinator 判定任务完成（输出 {"stop": true}）后，Aggregator 将所有 Agent 的中间输出合成为最终回答

实验

实验设置

• LLM 基座：所有组件（Coordinator、Agents、读写模块、Aggregator）均使用 GPT-4o，向量嵌入使用 text-embedding-3-large

• 三个场景：

  1. 全协作记忆：所有用户无限制访问共享记忆池

  2. 非对称协作记忆：用户具有不同权限级别，部分用户只能访问 Agent 子集

  3. 动态演化协作记忆：权限随时间动态授予和撤销

场景 1：全协作记忆（MultiHop-RAG 数据集）

• 数据集：609 篇新闻文章（6 个领域：科技、娱乐、体育、科学、商业、健康），2556 条多跳问题

• 配置：5 个用户，6 个领域专家 Agent，每个 Agent 独占一个知识库

• 结果：共享记忆相比隔离记忆，资源使用量最多降低 61%（50% 查询重叠率），准确率保持在 0.90 以上

场景 2：非对称协作记忆（合成业务数据集）

• 数据集：200 条商业项目查询（市场分析、物流规划、财务预测等）

• 配置：4 个用户角色（市场研究员、财务分析师、物流主管、策略总监），权限层级化（策略总监可访问所有 Agent）

• 结果：即使有限的跨用户可见性，也比完全隔离配置显著减少了 Agent 调用和知识库查询次数

场景 3：动态演化协作记忆（SciQAG 数据集）

• 数据集：5 个 Agent 分别对应 5 个科学类别（分析化学、能源燃料、材料科学等），100 条查询

• 动态过程：这里的动态变化只发生在用户与 Agent 之间的连接上。每 100 条查询为一个时间块，依次增加用户-Agent 边数（5→10→15→20→25），再逐渐撤销（20→15→10→5）

• 结果：准确率随权限增减同步变化，但资源查询次数持续下降——说明记忆机制有效复用了之前检索的信息，减少了对外部资源的重复访问

局限性

1. 数据获取困难：真实多用户协作场景受隐私法规限制，实验依赖现有基准和合成数据

2. 规模问题：中小规模实验（5 用户、5-6 Agent），尚未在大型企业级高并发环境中验证

3. LLM 幻觉：尽管有权限检查机制，LLM 的概率特性仍可能导致偶然的策略违规

4. 延迟评估简化：用资源调用次数替代真实 API 延迟分析

总结

Collaborative Memory 是首个系统性地将细粒度访问控制引入 LLM Agent 多用户记忆共享的框架，个人觉得是一个很好的工作，但是可惜评估方面略为苍白，没有 baseline 看不出效果