10.8

我们设计了内部基准来测试尖端LLM的长上下文端到端RAG能力。基本设置如下：

从使用OpenAI的text-embedding-3-large嵌入的向量数据库中检索文档片段（chunk）。文档被分割为512词元的片段，步长为256词元。

通过在上下文窗口中包含更多检索文档来改变总词元数。我们将总词元数从2k增加到200万。

系统必须根据检索的文档正确回答问题。答案由经过校准的LLM（使用GPT-4o）进行评判。

我们的内部基准包括三个独立的精选数据集：Databricks DocsQA、FinanceBench和Natural Questions (NQ)。