生产级检索增强生成(RAG)系统参考架构

一套生产级检索增强生成(Production RAG)系统参考架构。整个架构的核心设计思想是将数据准备与索引构建(离线摄取流水线)与实时问答与生成(在线查询流水线)解耦,并通过缓存、混合检索、重排、护栏与可观测性模块保障生产环境的准确率、延迟与安全性。

image

下面按离线摄取流水线(INGESTION PIPELINE)、在线查询流水线(QUERY PIPELINE)以及横跨系统的支撑组件逐一详细解读:

一、 离线摄取流水线(INGESTION PIPELINE - offline)

该流水线负责将分散的原始知识转化为可检索、带权限标签的结构化向量与索引数据,支持增量更新与删除。

  1. Data Sources(数据源)
  • 涵盖内容:PDF、Word、HTML 等文档;SharePoint、Confluence 等协作知识库;以及数据库与各类 API。

  • 作用:作为企业或业务知识的原始输入层,往往格式异构、更新频率不一。

  1. Ingestion Queue(摄取消息队列,如 Kafka / SQS)
  • 核心事件:doc.created(新建)、doc.updated(更新)、doc.deleted(删除)。

  • 作用:通过事件驱动实现异步解耦与削峰填谷。文档变更后投递事件到队列,避免大批量文档导入压垮解析或向量化服务,同时也为后续的增量更新和过期/删除数据清理提供明确信号。

  1. Document Parser(文档解析器)
  • 关键能力:文本与表格提取(Text + table extraction)、扫描件 OCR 识别(OCR for scans)、版面结构与元数据抽取(Layout & metadata)。

  • 作用:把非结构化或半结构化文件清洗并还原为机器可读的文本与结构信息。表格结构保留和版面信息提取对复杂文档(如财报、技术手册)尤为关键,元数据(如作者、部门、更新时间、文档类型)则为后续过滤和溯源打下基础。

  1. Chunking Service(分块服务)
  • 常见策略:语义/递归切分(Semantic / recursive split)、重叠窗口(Overlap windows)、父子分块(Parent-child chunks)。

  • 作用:长文档无法直接高效检索或塞入受限上下文,分块决定了检索粒度与上下文完整性。重叠窗口可防止切分点切断关键句子;父子分块通常用小块做精准向量匹配,再回溯父块提供更完整的上下文给大模型。

  1. Embedding Service(向量化服务)
  • 核心要点:向量模型(Embedding model)、批量编码(Batch encoding)、变更重算(Re-embed on change)。

  • 作用:将文本块转换为高维稠密向量(Embeddings),用于在语义空间计算相似度。生产环境中通常会做批处理以提高吞吐、降低调用成本,并仅对新增或修改的块重新计算向量(同时在线路中还能看到它与在线侧存在某种复用或联动关系,如动态/按需编码或模型对齐)。

  1. Vector DB(向量数据库,如 pgvector / Qdrant / Pinecone)与 Raw Docs(原始文档对象存储)
  • Vector DB 存储内容:分块向量(Chunk vectors)、元数据过滤器(Metadata filters)、访问控制标签(Access-control tags)。

  • Raw Docs(对象存储):保存原始文件,便于溯源查看、重新解析(如更换解析器或分块策略时无需重新去业务源拉取)以及审计合规。

  • 作用:向量库不仅存向量,还必须存权限标签与元数据,这样在检索阶段就能做到“先卡权限/过滤条件、再算相似度”,避免越权泄露敏感信息。

二、 在线查询流水线(QUERY PIPELINE - online)

该流水线面向实时用户请求,追求低延迟、高召回、高精度、可溯源与安全可控。

  1. User / App(用户 / 应用端)
  • 发起自然语言提问或业务请求,并接收流式返回的回答与引用来源。
  1. RAG API Gateway(RAG API 网关)
  • 核心功能:限流(Rate Limit)与鉴权/认证(Auth)。

  • 作用:作为在线流量的统一入口,保护后端昂贵的检索与 LLM 推理资源不被突发流量或滥用打垮,并识别调用方/用户身份。

  1. Query Processor(查询处理器)
  • 关键步骤:查询改写(Query rewrite)、多查询扩展(Multi-query expansion)、意图识别(Intent detection)。

  • 作用:用户的原始提问往往口语化、有指代或表达不完整。通过改写补全上下文、多查询扩展提升表达覆盖面、意图识别判断是走 RAG 知识库还是闲聊/其他工具路由,能显著改善后续检索质量。

  1. Hybrid Retriever(混合检索器)与 Search Index(搜索索引,如 OpenSearch)
  • 检索方式:向量检索(Vector search, top-k)、关键词检索(Keyword search, BM25)、权限过滤(Permission filtering)。

  • 关联存储:图中向下连接到 Search Index(OpenSearch)。

  • 作用:稠密向量擅长捕捉语义相似,但对精确词、专有名词、型号、错误码、缩写往往不如倒排索引(BM25)敏感。混合检索结合两者优势扩大召回,并叠加权限过滤确保结果合规。

  1. Reranker(重排器)
  • 关键动作:交叉编码器打分(Cross-encoder scoring)、Top-n 精选(Top-n selection)、分块去重(Dedup chunks)。

  • 作用:初检(Hybrid Retriever)为了高召回会返回较多候选块,但排序未必最准。Cross-encoder 会将 Query 与候选文本拼接做更精细的交互打分,剔除重复或低相关片段,选出最精炼的 Top-n 送入大模型,既提准确率又省 Token。

  1. Prompt Builder(提示词构建器)
  • 核心组成:系统提示词(System prompt)、上下文与引用标识(Context + citations)、Token 预算控制(Token budget)。

  • 作用:约束 LLM 遵循知识库事实、拒答无依据问题、按规范输出引用编号,同时根据模型上下文窗口与成本限制裁剪/分配各部分 Token 预算。

  1. LLM Generation(大模型生成)
  • 输出特点:基于依据生成回答(Grounded answer)、行内引用(Inline citations)、流式输出(Streaming)。

  • 作用:综合检索到的证据生成自然流畅的答案,并通过行内引用让用户核对信息出处,流式输出则提升首字/交互体感。

  1. Guardrails(安全护栏)
  • 检查项:幻觉检查(Hallucination check)、PII 个人隐私信息过滤(PII filter)。

  • 作用:在最终交付 answer + sources 给用户前做一道安全与质量防线,拦截敏感个人信息泄露或明显脱离上下文的幻觉输出。

三、 横跨系统的关键支撑组件

  1. Semantic Cache(语义缓存,如 Redis)
  • 工作路径:位于在线查询前端,命中时直接走 cache hit 返回,绕过后续重型检索与 LLM 生成。

  • 作用:不仅缓存完全相同的字符串,还能对语义高度相似的高频问题直接命中缓存,大幅降低端到端延迟与大模型调用成本。

  1. Evaluation & Monitoring(评估与监控)
  • 核心指标:检索召回率(Retrieval recall)、忠实度/依据度分数(Faithfulness score)、延迟与成本(Latency & cost)、用户反馈(User feedback)。

  • 作用:生产级 RAG 必须持续观测系统表现。例如“检索召回低”说明要查分块或混合检索/改写;“忠实度低”说明生成偏离了上下文或提示词约束不够;结合延迟、成本与用户点赞/点踩反馈,形成持续迭代优化的闭环。

开源项目

对照架构图中的核心组件,梳理主流开源项目并给出工程维度的详细评估:

一、 离线摄取与文档处理层(Sources / Queue / Parser / Chunking)

1. 文档解析与结构还原(Document Parser)
  • Docling(IBM Research 发起,现由 LF AI & Data 基金会治理,MIT 协议)

  • 优势:本地可完整运行、无外部数据出域风险;对 PDF 版面、表格、图文结构还原能力强,输出结构化树状文档,可直接对接向量库与主流 RAG 框架。

  • 局限:复杂手写体或强非标表单场景仍需结合 VLM/专用方案评估,自托管需承担算力运维成本。

  • MinerU / RAGFlow(内置 DeepDoc)

  • 优势:针对复杂版面、多栏、图表以及数学公式等高难度文档解析表现突出,适合科研、财报、工程技术文档等重排版场景。

  • 局限:模型链路较重,推理资源消耗高于纯规则或轻量解析器,需做好异步批处理与超时治理。

  • Apache Tika / Unstructured(开源版)

  • 优势:格式覆盖面广(Office、HTML、文本等通用格式),适合作为多格式统一接入与基础文本/元数据抽取层。

  • 局限:复杂版面与表格结构还原不如专用版面/VLM 解析器精细;处理不可信文件时需做好沙箱隔离。

2. 摄取队列与异步调度(Ingestion Queue)
  • Apache Kafka / RabbitMQ / Redis Streams / PGMQ
  • 评估:多下游消费(如同时写向量库、全文检索、知识图谱)或需要事件回放、高吞吐削峰时选 Kafka;若本身重度依赖 PostgreSQL 且规模适中,PGMQ 或轻量队列能减少组件 sprawl。单机/轻量起步阶段不必过早引入重型消息集群。
3. 分块策略与编排(Chunking & Ingestion Pipeline)
  • LlamaIndex / LangChain / Haystack
  • 优势:提供丰富的切分器(递归、语义、层级/父子节点)与数据连接器生态,适合定制化索引与复杂文档组织。
  • 局限:通用切分器在强业务领域往往“治标不治本”,按文档结构(标题/章节/表格行)切分 + 携带完整元数据通常比单纯调字符窗口更有效。

二、 向量与混合检索层(Embedding / Vector DB / Search Index / Reranker)

1. 向量与重排模型推理服务(Embedding & Reranker Serving)
  • 模型家族代表:BGE 系列(如 BGE-M3、BGE-Reranker)等开源 Embedding / Cross-Encoder 模型。
  • 推理引擎代表:Hugging Face Text Embeddings Inference (TEI)、vLLM、Ollama / llama.cpp。
  • 评估:TEI 针对 Embedding 与 Rerank 做了批处理与推理流水线优化,非常适合高并发向量化与精排服务;vLLM 在大语言模型高吞吐推理上优势明显;资源受限或本地/边缘测试场景可用 Ollama / llama.cpp 跑轻量模型,但高并发吞吐与延迟受限于硬件算力。
2. 向量数据库与混合检索存储(Vector DB & Search Index)
  • Qdrant(Rust 实现)

  • 优势:元数据过滤能力强、内存效率高、部署与运维相对轻量,中小到中大规模(如千万级及以下、强过滤条件)场景下性价比与延迟表现均衡。

  • 局限:超大规模分布式集群与极端高并发写入的生态历史积淀略逊于头部老牌分布式方案。

  • Milvus

  • 优势:存算分离架构、索引类型丰富(支持多种 ANN 索引与 GPU 加速)、社区与运维配套工具成熟,适合亿级向量、高并发、强自托管掌控力的企业级场景。

  • 局限:架构组件多,分布式运维与资源规划门槛高,小规模业务引入属于“杀鸡用牛刀”。

  • Weaviate

  • 优势:原生强调混合检索与模块化生态,中小规模下文档与上手体验较好。

  • 局限:向量规模进一步放大时,内存与计算资源消耗需要精细规划。

  • PostgreSQL + pgvector(及 pgvectorscale)

  • 优势:最务实的“零新增数据库”方案。已有 PG 体系的业务可直接把向量、业务元数据、权限字段放在同一事务与查询体系内,降低架构复杂度与运维成本。

  • 局限:在超大规模向量(如上亿级)与极致高吞吐场景下,通常不如专用分布式向量引擎。

  • OpenSearch / Elasticsearch

  • 优势:倒排索引与 BM25 关键词检索成熟,适合与向量检索做混合检索,补足专有名词、编号、精确匹配短板。

  • 局限:额外维护一套搜索引擎会增加存储与运维开销;若数据量不大,优先评估单一引擎内是否已能满足混合检索与过滤。

三、 在线编排、生成与护栏层(Gateway / Query / Orchestration / Guardrails)

1. 应用编排与全栈 RAG 平台
  • LangChain / LangGraph

  • 优势:生态最广、模型与工具集成多;LangGraph 擅长有状态、循环、多分支、需人工介入(Human-in-the-loop)的复杂 Agent 与多步检索工作流。

  • 局限:抽象层较多,版本演进快,生产环境需严格控制链路复杂度与隐式重试/死循环风险。

  • LlamaIndex

  • 优势:数据摄取、索引构建与检索器抽象针对性极强,适合检索逻辑复杂、需要精细控制召回与后处理的场景(常与 LangGraph 组合使用)。

  • Dify / RAGFlow

  • 优势:提供可视化编排、知识库管理界面与开箱即用的 API,非算法背景团队或快速交付场景上手快;RAGFlow 在复杂文档解析与知识库工作流上特色鲜明。

  • 局限:深度定制权限模型、高度耦合现有企业微服务/网关、或做精细灰度与自定义工程治理时,自由度不如自研编排服务。

2. 语义缓存(Semantic Cache)
  • Redis(结合向量/语义缓存能力)
  • 优势:延迟极低,高频相似问可直接命中返回,显著削减 LLM 调用费用与响应时间。
  • 局限:必须带租户/用户权限隔离!不同权限用户对同一问题的可见知识不同,若缓存键未严格隔离权限标签,极易造成越权回答;同时文档更新时需考虑缓存失效策略。
3. 安全护栏(Guardrails)
  • 评估要点:生产级护栏通常由规则/正则/敏感词/PII 脱敏 + 轻量分类/幻觉校验模型组成。开源与自建方案的核心考量不是“有没有现成包”,而是新增延迟预算(护栏每多串行 200ms 都会影响流式体感)以及误拦截率(宁可提示“知识库中暂无明确依据”也不要胡编乱造)。

四、 评估与可观测性层(Evaluation & Monitoring)

1. 评测指标与测试集框架
  • Ragas / DeepEval / Promptfoo
  • 优势:能快速计算上下文召回/精确率、忠实度(Faithfulness)、答案相关性等指标,支持接入 CI/CD 做回归测试,避免改了分块或 Prompt 却不知道检索是变好还是变坏。
  • 局限:LLM-as-a-Judge 存在裁判模型偏置与评测成本,必须配合人工抽检标注集与真实线上 Bad Case 回归集校准。
2. 链路追踪与监控平台
  • Langfuse / Arize Phoenix / MLflow / Comet Opik
  • 评估:Langfuse 在开源 Tracing、Prompt 管理与工程化闭环上接受度高;Arize Phoenix 原生贴近 OpenTelemetry / OpenInference 标准,适合希望打通统一可观测协议的团队;MLflow 适合已有实验与模型管理体系、希望统一接入多种评测指标的团队。(注意部分平台采用源码可用协议而非严格 OSI 开源协议,自托管商用或对外提供 SaaS 时需核对许可证条款。)

五、 生产选型建议总结

  1. 先抓数据与检索,别迷信花哨框架:RAG 线上翻车,多数源于解析丢结构、分块破坏语义、权限过滤缺失或混合检索/重排不到位,而不是换了个编排库就自动变准。
  2. 按规模与团队画像做减法:
  • 已有 PostgreSQL 且数据量可控:优先 pgvector 降低组件运维负担。
  • 强调快速可视化落地与知识库运营:优先评估 Dify 或 RAGFlow。
  • 中大型企业、强合规与定制化:采用“自建编排服务 + 专用解析/混合检索/重排 + Langfuse/Phoenix 追踪 + Ragas/DeepEval 离线评测”的模块化组合。
posted on 2026-11-20 14:52  PetterLiu  阅读(7)  评论(0)    收藏  举报