CRAG 纠错检索增强方法详解

CRAG（Corrective Retrieval Augmented Generation）是一种纠错检索增强生成方法，其主要步骤如下：

1. 检索阶段

• 用户输入查询 ：用户向系统输入一个查询请求，例如“艾萨克·牛顿是如何发现万有引力的？”。
• 检索器检索文档 ：系统中的检索器根据用户查询从预设的知识库或互联网中检索出与查询相关的文档。

2. 检索评估阶段

• 评估文档相关性 ：轻量级检索评估器对检索到的文档与用户查询之间的相关性进行评估，生成一个相关性分数。
• 确定文档类别 ：根据预设的阈值，将文档分为三类：
  • Correct（正确） ：文档与查询有一定相关性，但可能仍存在噪音信息。
  • Incorrect（不正确） ：文档与查询不相关，无法为生成提供有效信息。
  • Ambiguous（模糊） ：检索评估器无法确定文档与查询的相关性，处于不确定状态。

3. 知识纠正阶段

• Correct 情况 ：对文档进行分解，将其细分为多个知识条，然后利用检索评估器重新评估每个知识条的相关性，过滤掉无关或多余的信息，最后将剩余的知识条重新组合，形成矫正后的文档。
• Incorrect 情况 ：丢弃检索到的文档，通过网络搜索寻找更准确的补充知识源。系统会将用户的查询重写为更适合网络搜索引擎的关键词，然后使用商业或开源的网络搜索 API 执行搜索查询，并从搜索结果中选择相关的文档。
• Ambiguous 情况 ：同时执行 Correct 和 Incorrect 情况下的操作，一方面尝试从现有文档中提取有价值的信息，另一方面通过网络搜索寻找外部补充。

4. 生成阶段

将经过知识纠正后的文档与用户查询进行拼接，作为输入交给语言模型生成器，生成器根据这些信息生成最终的回答。

CRAG 方法通过引入检索评估器和知识纠正机制，有效提高了检索文档的相关性和准确性，从而增强了生成文本的质量和可靠性。

 

以下是一些常见的网络搜索 API：

国内网络搜索 API

• 博查 Web Search API ：博查 AI 提供的企业级互联网网页搜索接口，适用于 AI 应用、RAG 应用和 AI 智能体。其特点包括广泛的垂直领域支持，涵盖网页、新闻、短视频、百科等多个领域。此外，博查还提供 AI Search API 和 Agent Search API，分别提供多模态参考源、总结答案和追问问题，以及专业领域参考源和深度答案。
• 天行数据搜索 API ：天行数据是一个提供各类 API 服务的平台，涵盖新闻、生活服务、娱乐等多个类别，其搜索 API 可用于信息检索等场景。

国外网络搜索 API

• Google Search API ：谷歌提供的搜索 API，能够访问谷歌搜索引擎的数据，支持多种搜索功能，但需注意其使用限制和费用。
• Bing Web Search API ：微软提供的 Bing 搜索 API，可用于获取网页搜索结果，支持多种语言和地区的搜索。
• Exa.ai Web Search API ：专为 AI 应用设计的搜