MeMo: Memory as a Model
论文阅读：MeMo: Memory as a Model
论文标题：MeMo: Memory as a Model
作者：Ryan Wei Heng Quek, Sanghyuk Lee, Alfred Wei Lun Leong, Arun Verma, Alok Prakash, Nancy F. Chen, Bryan Kian Hsiang Low, Daniela Rus, Armando Solar-Lezama
发表位置：arXiv preprint
arXiv 编号：2605.15156v2
提交时间：2026-05-14，最近修订：2026-05-20
原文链接：https://arxiv.org/abs/2605.15156
主题：LLM 知识更新、参数化记忆、RAG 替代方案、跨文档推理、黑盒 LLM 集成
核心问题：如何在不修改大语言模型本体参数、也不依赖大规模检索索引的情况下，把新的领域知识或时效知识接入 LLM？
1. 背景：为什么需要一种新的知识接入方式？
大语言模型在预训练之后，其参数通常会在相当长时间内保持冻结。现实应用中，知识却会不断变化：新的事实、新的领域文档、新的业务资料、新的法律条文、新的医学知识都会持续出现。论文认为，这使得“如何把新知识接入已经训练好的 LLM”成为一个重要问题。
现有方法大致可以分为三类。
第一类是非参数方法，例如 ICL 和 RAG。它们不修改模型参数，而是在推理时把相关文档放进上下文。这样做的优点是灵活、可更新、容易和黑盒模型结合；缺点是受上下文窗口限制，并且当相关信息分散在多篇文档中时，检索器未必能稳定找全、找准，也容易受到噪声文档干扰。
第二类是参数方法，例如继续预训练或监督微调。它们把新知识直接写入模型参数。这样做可以让模型内部化知识，但成本高，而且可能带来灾难性遗忘；对于闭源 API 模型，这类方法通常也不可行。
第三类是 latent memory 方法，例如把知识压缩成软 token、隐藏状态或模型特定的记忆表示。这类方法可以降低上下文开销，但往往与特定模型结构、tokenizer 或内部表示强绑定，难以跨模型迁移，也难以和纯黑盒模型结合。
论文提出的 MEMO（Memory as a Model）试图结合这些思路的优点：把新知识训练进一个专门的 MEMORY model，同时保持主 LLM，也就是 EXECUTIVE model，不变。推理时，EXECUTIVE model 不直接检索原始语料，而是通过多轮协议向 MEMORY model 提问，再根据 MEMORY model 返回的中间信息生成最终答案。
2. 论文的核心思想：把“记忆”本身做成一个模型
MEMO 的基本架构包含两个模型：
| 组件 | 作用 |
|---|---|
| EXECUTIVE model | 冻结的大语言模型，负责理解用户问题、分解问题、组织推理、生成最终回答 |
| MEMORY model | 专门训练出来的小模型，负责把目标语料中的知识参数化地存下来，并在推理时回答 EXECUTIVE model 的子问题 |
| GENERATOR model | 训练阶段使用的模型，负责把原始语料转成 reflection QA 数据，用来训练 MEMORY model |
这里最关键的不是简单地“把语料微调到一个小模型里”，而是先用 GENERATOR model 把语料转化成一种称为 reflections 的问答数据。论文中的 reflections 可以理解为从语料中提炼出的、面向未来查询的知识接口：它不依赖未来具体问题，但会把事实、实体、关系、跨文档线索组织成可以被提问访问的 QA 形式。
推理时，EXECUTIVE model 不需要访问目标语料本身，也不需要使用向量索引。它只需要把复杂问题拆成若干面向 MEMORY model 的子问题，让 MEMORY model 返回紧凑的自然语言片段，再由 EXECUTIVE model 综合这些片段形成最终答案。
【Figure 1。该图展示 MEMO 的整体训练与推理流程：左侧是从目标语料生成 reflection QA 并训练 MEMORY model，右侧是 EXECUTIVE model 通过三阶段多轮协议查询 MEMORY model 并生成答案。】
3. 与现有知识接入范式的对比
论文用一张表比较了不同范式在若干目标属性上的差异。这里整理成中文表格：
| 方法范式 | 冻结基础 LLM | 不需要检索索引 | 黑盒模型兼容 | 避免灾难性遗忘 | 固定大小记忆 | 可跨 LLM 迁移 |
|---|---|---|---|---|---|---|
| 非参数方法，如 RAG、ICL | 是 | 否 | 是 | 是 | 否 | 是 |
| 参数方法，如继续预训练、SFT | 否 | 是 | 否 | 否 | 是 | 否 |
| Latent memory，如 AutoCompressor、Gist、ICAE | 是 | 是 | 否 | 是 | 否 | 否 |
| MEMO | 是 | 是 | 是 | 是 | 是 | 是 |
这张表的核心意思是：MEMO 既不修改 EXECUTIVE model，也不需要在推理时维护一个随语料规模增长的检索索引；由于 MEMORY model 用自然语言输入输出和 EXECUTIVE model 交互，因此理论上可以接入任意黑盒 LLM，包括闭源 API 模型。
不过需要注意，所谓“固定大小记忆”指的是 MEMORY model 的参数规模固定，推理阶段访问 MEMORY model 的成本不随原始语料文档数线性增长；这并不意味着训练成本为零，也不意味着固定大小模型可以无限压缩任意规模的语料。论文在局限性部分也明确指出，MEMORY model 的表示容量会限制它能够内部化的语料规模。
4. 问题形式化：知识集成机制要做什么？
论文把知识集成问题描述为：给定一个冻结模型和一批目标语料，设计一种机制，把目标语料变成某种知识表示，并在推理时把这个表示和冻结模型结合起来，使模型能够正确回答依赖目标语料的问题。
不同方法对应不同的知识表示：
| 方法 | 知识表示 | 推理方式 |
|---|---|---|
| ICL | 整个语料文本 | 直接把语料拼入 prompt |
| RAG | 检索索引 | 先检索相关片段，再放入 prompt |
| 微调 | 更新后的模型参数 | 直接由更新后的模型回答 |
| MEMO | MEMORY model 的参数 | EXECUTIVE model 通过子问题查询 MEMORY model |
MEMO 的特殊之处在于：它把知识表示为一个可以被自然语言提问的小模型，而不是原始文本、向量索引或主模型本身的参数更新。
5. MEMO 的训练阶段：从目标语料到 reflection QA
MEMO 的训练阶段目标是构造一个 reflection QA 数据集，用来训练 MEMORY model。论文将数据合成流程分为五步。
5.1 Step 1：事实抽取
首先，把每篇文档切分成 chunk。对于每个 chunk，GENERATOR model 进行两类抽取：
| 抽取类型 | 目标 |
|---|---|
| Direct extraction | 抽取文本中明确陈述的事实 |
| Indirect extraction | 抽取需要推断、归纳或综合的信息 |
这样做是为了让 MEMORY model 不只学习表层事实，也学习一些隐含关系和推理性知识。
5.2 Step 2：信息整合
GENERATOR model 会把 direct 和 indirect 得到的 QA 对进行合并。合并的依据包括共同实体、时间段、关系类型等。
这一步产生的 QA 不再只是单事实问答，而是可能包含多个事实之间的联系。例如，一个问题可能需要同时理解某个实体的身份、行为和与其他实体的关系。
5.3 Step 3：验证与重写
合成出来的 QA 需要满足一个要求：问题本身必须是 self-contained，也就是即使不看原始 chunk，也能理解问题在问什么。
例如，如果问题中出现 “they” 或 “above table” 这种依赖上下文的表达，就不是自包含的。GENERATOR model 会尝试根据源文本重写这些问题；如果重写后仍然含糊，就丢弃。
这一步很重要，因为 MEMORY model 训练时只看到问题和答案，不再看到原始文档。如果问题本身不完整，训练信号就会变得不可靠。
5.4 Step 4：实体显式化
接着，GENERATOR model 会围绕命名实体生成 entity-surfacing QA。
这类 QA 的问题通常描述一个实体的属性、关系或间接线索，答案则给出实体身份。论文认为，这有助于缓解 reversal curse，也就是模型知道 “A 与 B 的关系”，却不一定能从 “与 B 有这种关系的是谁” 反推出 A 的问题。
这一类数据也直接服务于推理阶段的第二步：实体识别。
5.5 Step 5：跨文档综合
最后，GENERATOR model 会在预先定义的文档组上进行跨文档合成。文档组可以来自长文档切分后的多个 chunk，也可以来自人工标签或主题分组。
论文关注两种跨文档连接：
| 跨文档连接类型 | 含义 |
|---|---|
| Converging clues | 多篇文档提供关于同一实体的互补线索，合在一起才能识别该实体 |
| Parallel properties | 不同文档中的不同实体共享某种属性或角色，可以支持比较和类比推理 |
最终的训练集由三类 QA 组成：
Q_final = verified QA + entity-surfacing QA + cross-document QA
也就是说，MEMORY model 学到的不只是单条事实，而是自包含事实、实体线索和跨文档关系。
6. MEMORY model 如何训练？
MEMORY model 使用监督微调训练。它的输入是合成问题，输出是答案；训练时不提供源文档。
论文强调这一点：MEMORY model 不能依赖复制原文上下文，而必须把知识内部化到自己的参数中。训练目标只在答案 token 上计算 next-token prediction loss。
实验中，论文主要使用 Qwen2.5-14B-Instruct 初始化 MEMORY model。与 EXECUTIVE model 相比，MEMORY model 可以更小；论文也做了 1.5B 与 14B 的对比实验。
这种设计让 MEMORY model 更像一个“可查询的参数化知识库”。它不是向量数据库，也不是把原始文档放进 prompt 的阅读器；推理时它只根据自身参数回答 EXECUTIVE model 的子问题。
7. 持续知识接入：用模型合并降低重复训练成本
如果新的语料不断到来，最直接的方式是每次都在所有语料的并集上重新训练 MEMORY model。但随着语料数量增加，这个成本会快速变大。
论文尝试用 model merging 来支持持续知识接入。做法是：
- 对每个独立语料子集分别生成 reflection QA；
- 分别训练一个 MEMORY model；
- 以同一个初始模型为基准，计算每个 MEMORY model 相对初始模型的 task vector；
- 用模型合并方法把多个 task vector 合成一个 merged MEMORY model。
这不是论文的主方法本身，而是为了探索 MEMO 在增量知识更新场景下的可行路径。实验结果显示，模型合并能节省计算，但会带来明显准确率损失。
8. 推理阶段：EXECUTIVE model 如何查询 MEMORY model？
推理时，MEMO 不直接把用户问题发给 MEMORY model，也不让 MEMORY model 一次性回答复杂问题。论文设计了一个三阶段 structured multi-turn protocol。
8.1 Stage 1：Grounding
给定用户问题，EXECUTIVE model 首先把它拆成若干 atomic、clue-probing 的子问题。每个子问题只针对原问题中的一个识别约束。
MEMORY model 独立回答这些子问题，不共享上下文。返回结果作为后续推理的 grounding 信息。
可以把这一阶段理解为：先从 MEMORY model 中取回若干局部线索，为复杂推理建立基础。
8.2 Stage 2：Entity identification
第二阶段，EXECUTIVE model 使用 grounding responses 作为上下文，继续向 MEMORY model 提出更有针对性的后续问题，逐步收窄候选实体集合。
这个阶段会一直进行，直到 EXECUTIVE model 识别出一个目标实体，或者达到交互预算上限。如果没有识别出候选实体，系统会跳过第三阶段，直接基于第一阶段结果综合答案。
这一阶段对应训练阶段的 entity-surfacing QA：训练时让 MEMORY model 学会从属性和关系描述中反推出实体，推理时就可以被 EXECUTIVE model 用来做实体定位。
8.3 Stage 3：Answer seeking and synthesis
当 EXECUTIVE model 识别出目标实体后，会围绕该实体继续询问 MEMORY model，获取更多支持事实。等到证据足够，或交互预算耗尽，EXECUTIVE model 将累计得到的 MEMORY model 回复综合成最终答案。
这个流程的关键点有两个：
第一，MEMORY model 返回的是紧凑的自然语言片段，长度与原始语料规模无关。
第二，EXECUTIVE model 只通过输入输出接口与 MEMORY model 交互，不需要访问 MEMORY model 或 EXECUTIVE model 的内部参数、梯度或 logits。因此，这个机制可以和闭源 LLM API 配合。
9. 实验设置
论文在三个知识密集型 benchmark 上评估 MEMO。
| 数据集 | 任务特征 | 论文中的规模设置 |
|---|---|---|
| BrowseComp-Plus | 需要多跳、多文档检索和推理 | 过滤非英语样本后采样 300 个问题，证据文档与负文档配对，共 3,541 篇文档 |
| NarrativeQA | 长文档理解，例如书籍和电影脚本 | 293 个问题，105 篇文档 |
| MuSiQue | 需要在多个 Wikipedia 段落之间进行 2 到 4 步组合推理 | 1,000 个问题，共 5,296 篇文档 |
比较对象包括：
| Baseline | 类型 |
|---|---|
| BM25 | 词法检索 |
| NV-Embed-V2 | dense retrieval |
| HippoRAG2 | 图结构 RAG，论文称其为强 RAG baseline |
| Cartridges | 训练得到的 KV-cache，推理时加载到 EXECUTIVE model 上 |
| Perfect Retrieval | 经验上界，只把正确 evidence documents 放进 EXECUTIVE model 上下文 |
实验中，GENERATOR model 使用 Qwen2.5-32B-Instruct。MEMORY model 主要使用 Qwen2.5-14B-Instruct，训练 3 个 epoch。EXECUTIVE model 分别使用 Qwen2.5-32B-Instruct 和 Gemini-3-Flash，以测试同一个 MEMORY model 能否和不同推理能力的主模型配合。
评估指标是二值准确率，使用 Gemini-2.5-Flash-Lite 通过 DeepEval 进行自动评判。Qwen2.5-32B-Instruct 的结果报告三次运行的均值和标准差；Gemini-3-Flash 报告单次运行结果。
10. 主实验结果
论文的主结果如下。表中 Perfect Retrieval 是经验上界，不作为普通方法比较中的最佳结果。
| 方法 | BrowseComp-Plus / Qwen2.5-32B | BrowseComp-Plus / Gemini-3-F | NarrativeQA / Qwen2.5-32B | NarrativeQA / Gemini-3-F | MuSiQue / Qwen2.5-32B | MuSiQue / Gemini-3-F |
|---|---|---|---|---|---|---|
| Perfect Retrieval | 79.67 ± 1.45 | 88.33 | 51.42 ± 0.52 | 60.41 | 62.83 ± 0.90 | 73.00 |
| BM25 | 1.11 ± 0.69 | 27.00 | 10.24 ± 0.34 | 14.33 | 20.00 ± 0.30 | 23.20 |
| NV-Embed-V2 | 50.67 ± 0.33 | 57.00 | 20.59 ± 0.86 | 26.62 | 37.47 ± 0.15 | 46.60 |
| HippoRAG2 | 56.11 ± 0.51 | 66.33 | 21.39 ± 0.20 | 23.21 | 42.17 ± 0.12 | 57.00 |
| Cartridges | 0.00 ± 0.00 | - | 3.75 ± 0.11 | - | 8.57 ± 0.40 | - |
| MEMO | 54.22 ± 0.84 | 66.67 | 26.85 ± 0.39 | 53.58 | 48.30 ± 1.25 | 60.20 |
从表中可以看到：
- 在 NarrativeQA 和 MuSiQue 上，MEMO 在两个 EXECUTIVE model 下都超过了所有普通 baseline。
- 在 BrowseComp-Plus 上，MEMO 与强检索方法接近：使用 Qwen2.5-32B-Instruct 时，MEMO 为 54.22%，略低于 HippoRAG2 的 56.11%；使用 Gemini-3-Flash 时，MEMO 为 66.67%，略高于 HippoRAG2 的 66.33%。
- 当 EXECUTIVE model 从 Qwen2.5-32B-Instruct 换成 Gemini-3-Flash 时，MEMO 在三个数据集上都提升明显，说明同一个 MEMORY model 可以受益于更强的 EXECUTIVE model 推理能力。
论文对 BrowseComp-Plus 上的现象给出解释：该任务的答案往往不在 EXECUTIVE model 的参数知识中，直接把 evidence documents 放入上下文对检索方法更有利，因此 MEMO 在 Qwen2.5-32B-Instruct 上略低于 HippoRAG2。
11. 噪声鲁棒性实验
论文进一步测试了在加入负文档时，MEMO 相比检索方法是否更稳定。这里 N 表示数据集中 ground-truth evidence documents 的数量，1 x N 表示额外加入同等数量的负文档。
| 方法 | 数据集 | 0 x N 准确率 | 1 x N 准确率 | 变化 |
|---|---|---|---|---|
| NV-Embed-V2 | BrowseComp-Plus | 56.89 ± 0.51 | 50.67 ± 0.33 | -6.22 |
| NV-Embed-V2 | MuSiQue | 42.30 ± 0.53 | 37.47 ± 0.15 | -4.83 |
| HippoRAG2 | BrowseComp-Plus | 62.33 ± 1.15 | 56.11 ± 0.51 | -6.22 |
| HippoRAG2 | MuSiQue | 47.33 ± 0.74 | 42.17 ± 0.12 | -5.16 |
| MEMO | BrowseComp-Plus | 53.67 ± 1.15 | 54.22 ± 0.84 | +0.55 |
| MEMO | MuSiQue | 50.07 ± 0.81 | 48.30 ± 1.25 | -1.77 |
结果显示，检索方法在加入负文档后下降明显；MEMO 在 BrowseComp-Plus 上基本不下降，在 MuSiQue 上下降也较小。论文认为，这是因为 MEMORY model 并不是在推理时从噪声文档中重新检索，而是在训练后通过参数化知识回答 EXECUTIVE model 的子问题，因此对检索噪声更稳健。
12. MEMORY model 大小的影响
论文比较了 Qwen2.5-1.5B-Instruct 和 Qwen2.5-14B-Instruct 作为 MEMORY model 的效果。
| MEMORY model | BrowseComp-Plus / Qwen2.5-32B | BrowseComp-Plus / Gemini-3-F | NarrativeQA / Qwen2.5-32B | NarrativeQA / Gemini-3-F | MuSiQue / Qwen2.5-32B | MuSiQue / Gemini-3-F |
|---|---|---|---|---|---|---|
| Qwen2.5-1.5B-Instruct | 44.11 ± 2.22 | 61.00 | 24.00 ± 0.20 | 47.44 | 42.90 ± 1.39 | 59.70 |
| Qwen2.5-14B-Instruct | 54.22 ± 0.84 | 66.67 | 26.85 ± 0.39 | 53.58 | 48.30 ± 1.25 | 60.20 |
较大的 MEMORY model 在所有设置下表现更好。论文也指出，EXECUTIVE model 的推理能力会以任务相关的方式影响这个差距：在 NarrativeQA 上差距扩大，而在 BrowseComp-Plus 和 MuSiQue 上差距缩小。
这说明 MEMORY model 的容量很重要，但它与 EXECUTIVE model 的能力之间不是简单线性关系。
13. MEMORY model 家族的影响
论文还比较了三个相近规模但不同模型家族的 MEMORY model：
| MEMORY model | BrowseComp-Plus / Qwen2.5-32B | BrowseComp-Plus / Gemini-3-F | NarrativeQA / Qwen2.5-32B | NarrativeQA / Gemini-3-F | MuSiQue / Qwen2.5-32B | MuSiQue / Gemini-3-F |
|---|---|---|---|---|---|---|
| Qwen2.5-1.5B-Instruct | 44.11 ± 2.22 | 61.00 | 24.00 ± 0.20 | 47.44 | 42.90 ± 1.39 | 59.70 |
| Gemma3-1B-IT | 41.67 ± 2.03 | 59.00 | 22.30 ± 2.47 | 48.81 | 41.17 ± 1.20 | 56.20 |
| LFM2.5-1.2B-Instruct | 37.33 ± 1.86 | 59.67 | 21.96 ± 1.97 | 46.42 | 45.23 ± 2.49 | 58.30 |
结果显示，在 1B 到 2B 这个规模附近，MEMO 对 MEMORY model 的具体模型家族相对稳健。不同架构之间有差异，但没有出现框架只适用于某一种模型家族的情况。
14. 持续集成实验：模型合并与全量重训
论文在 NarrativeQA 上测试模型合并。设置是把数据分成两个不重叠子集，分别训练两个 MEMORY model，再通过合并得到一个模型，并与在两个子集并集上全量重训进行比较。
| 方法 | 累计计算量，8 x H100 GPU-hours | Qwen2.5-32B 准确率 | 与全量重训差距 | Gemini-3-F 准确率 | 与全量重训差距 |
|---|---|---|---|---|---|
| Full retrain | 约 72h | 26.85 ± 0.39 | - | 53.58 | - |
| Merge-TIES，rho=0.3 | 约 48h | 15.81 ± 0.39 | -11.04 | 34.47 | -19.11 |
论文指出，在两个子集的设置下，模型合并节省约 33% 的计算量。随着语料批次数 K 增大，全量重训的累计成本按二次规模增长，而合并方案更接近线性增长。例如在论文给出的估算中，K=10 时合并是 240 GPU-hours，全量重训是 1,320 GPU-hours，约为 5.5 倍节省。
但这个实验也说明，模型合并并不是无损的。它明显低于全量重训，尤其是在 Gemini-3-Flash 作为 EXECUTIVE model 时差距更大。论文的结论是：合并可以作为更便宜的增量更新路径，但目前仍存在准确率折损，需要更好的合并策略。
【Figure 2。该图与模型合并实验相关，展示不同合并配置及计算成本对比，用来说明合并节省计算但存在准确率损失。】
15. 影响与风险
论文在 impact statement 中指出，MEMO 降低了将大规模、领域化语料接入 LLM 的门槛。它不要求访问主模型权重，因此可能用于法律、医学、科研等知识密集型场景。
但同样的能力也有双重用途风险：如果 MEMORY model 被训练在错误信息、未经授权的专有数据或有害内容上，也可能把这些内容参数化地内部化。此外，由于 MEMO 减少了对显式检索的依赖，回答中知识来源的可追溯性可能变弱。论文建议未来研究 attribution mechanisms 和 access controls，并提醒实践者谨慎选择训练 MEMORY model 的文档来源。
16. 局限性
论文明确指出 MEMO 仍有几个限制。
第一，MEMO 对每个新语料都有前置训练成本。相比 RAG 中直接更新索引，训练 MEMORY model 更重。
第二，实验覆盖范围有限。论文主要测试了三个 benchmark，以及若干模型组合。MEMO 在其他领域、文档类型、模型家族上的效果仍需要进一步验证。
第三，MEMORY model 的容量是硬约束。虽然当前实验没有显示明显容量瓶颈，但作者认为，当语料足够大或信息密度足够高时，固定大小 MEMORY model 可能无法正确压缩和表示全部知识。
第四，数据生成流程本身较贵。尤其是跨文档合成步骤，随着 chunk 和 QA 数量增加，成本会快速增长。
第五，持续更新方案仍不成熟。模型合并可以节省计算，但主实验显示准确率损失明显，仍需要更有效的 merging 方法。
17. 未来方向
论文给出的未来方向包括：
- 降低 memory construction，尤其是数据生成 pipeline 的计算成本；
- 系统研究 chunking 策略及其权衡；
- 探索如何让 MEMORY model 随语料规模扩展；
- 改进模型合并方法，以降低增量知识接入成本；
- 尝试将强化学习等 post-training 方法用于 MEMORY model；
- 为不同架构寻找更合适的 LoRA 配置；
- 更系统地研究 EXECUTIVE model 推理能力、MEMORY model 大小、交互预算之间的关系；
- 改进 EXECUTIVE model 与 MEMORY model 之间的协调机制。
18. 总结
MEMO 的核心观点可以概括为：与其每次都把知识作为文本检索出来，或者直接改写主模型参数，不如把知识训练进一个独立的 MEMORY model，再让冻结的 EXECUTIVE model 通过自然语言子问题去查询它。
这个设计带来几个明显特点：
- 主模型保持冻结，因此避免对 EXECUTIVE model 的灾难性遗忘；
- 不需要访问主模型权重或 logits，因此可以和闭源 LLM 配合；
- 推理时不需要随语料规模增长的检索索引；
- MEMORY model 用参数化方式存储知识，对噪声文档比检索方法更稳健；
- 通过 reflection QA 和三阶段多轮协议，MEMO 专门面向跨文档、多跳和实体识别类问题。
同时，MEMO 也把成本从“推理时检索”部分转移到了“训练时构造记忆”部分。它并不是免费替代 RAG，而是一种新的知识接入范式：用一个可查询的小模型作为记忆层，让大模型保持为可替换、可升级的推理层。
从实验结果看，MEMO 在 NarrativeQA 和 MuSiQue 上相对强检索 baseline 表现突出，在 BrowseComp-Plus 上与强检索方法接近；在加入负文档时，它比检索方法更稳定；在更强 EXECUTIVE model 上，同一个 MEMORY model 也能获得更好结果。这些结果支持了论文的主要论点：MEMO 可以作为一种面向更新知识和领域知识的模块化记忆机制，但其训练成本、容量上限、增量更新和溯源能力仍是后续需要解决的问题。
参考
- Ryan Wei Heng Quek, Sanghyuk Lee, Alfred Wei Lun Leong, Arun Verma, Alok Prakash, Nancy F. Chen, Bryan Kian Hsiang Low, Daniela Rus, Armando Solar-Lezama. MeMo: Memory as a Model. arXiv:2605.15156v2, 2026.
- 原文链接：https://arxiv.org/abs/2605.15156
浙公网安备 33010602011771号