10.9

检索更多文档确实有益：为给定查询检索更多信息，能够提升将正确信息传递给LLM的可能性。具有长上下文长度的现代LLM可以利用这一点，从而改善整体RAG系统。

更长的上下文对RAG而言并不总是最优解：大多数模型的性能在某个上下文长度后会下降。值得注意的是，Llama-3.1-405b的性能在32k词元后开始下降，GPT-4-0125-preview在64k词元后开始下降，只有少数模型能够在所有数据集上维持一致的长上下文RAG性能。

模型在长上下文RAG任务中失败的方式都各不相同：我们深入分析了DBRX和Mixtral的长上下文性能，并识别出了各自独特的失败模式，例如由于版权问题拒绝或总是对上下文进行总结。许多行为表明，缺乏足够的长上下文后训练。