MIT论文解读：LLM 会被自身历史回复拖累 ，上下文污染会导致多轮对话质量衰减

和 AI 对话超过 20 轮之后，看着它慢慢开始胡说八道，如果有过这种经历，那么你就应该看看这篇论文

跟 AI 聊天机器人对话时，用户输入的每一个字都会被保存，模型给出的每一条回复同样会被保存。所有历史内容在下一轮对话中被回传给模型，再下一轮，再下一轮，像河底的沉积物越堆越高。

每一个聊天机器人、每一个 AI Agent、每一个多轮对话系统都按这个方式运行。看起来理所当然，模型不存自己的回复，怎么"记住"之前说了什么？

重大发现有时源于一个不起眼的问题。而直到最近才有人问出来：如果存储 AI 自己的回复，反而在拖累它的表现呢？

MIT 在 2026 年 2 月发表了一篇论文来回答这个问题。标题刻意低调——"Do LLMs Benefit From Their Own Words?"——但结论一点都不低调。

 

https://avoid.overfit.cn/post/64b53523db514c199ce7b36c120abb39