花旗、安永、英伟达联手写的文档摄取系统报告：92% 的页面根本不需要 OCR

💡 一句话总结：这是一篇没有新算法、但每个做过企业 RAG 的人都会拍大腿的 MLSys 工业 track 报告：来自花旗、安永和英伟达的三位作者，把「文档怎么变成模型能吃的向量」这个脏活系统化成四相管线，每一步都自带证据。最实用的一个数字：页级路由之后，企业语料里 92% 的页面走零模型成本的原生提取，只有 8.1% 需要请 OCR 模型出山——你还在无脑全量 OCR 的话，这钱省得不冤。

导语：GenAI 时代的「感知层」没有人管

传统机器学习时代，数据准备是「窄」的：任务定死了，schema 定死了，数据清洗对着目标函数做。生成式 AI 把模型解放了——一个基础模型伺候无数下游任务——代价是数据侧的复杂度全数涌到了入口：企业知识长在人用的格式里，PDF、PPT、Excel、扫描件、表单、混合版式，一个文件里同时装着文字、图表、几何布局和结构信息。

这条入口管线坏一点，下游再强的检索器、重排器都救不回来——这是我们在前面几篇（EVICALC、TRACE、FoveDoc）里反复验证过的道理。但这篇论文问的是更前面的问题：这条入口管线本身，该怎么造、怎么测、怎么管？

三位作者（花旗的 Abbas Raza Ali、安永的 Muhammad Ajmal Siddiqui、英伟达的 Moona Zahid）给出了一套四相生产系统，投在 MLSys 2027 工业赛道。论文的自我定位很诚实：不提新算法，贡献是「围绕现有解析器的路由、评分与审计脚手架」。全篇还有一个很可爱的自律——每句话标证据等级：[E] 已确立的研究、[D] 系统自己的实测、[P] 本文提议、[H] 假设。企业系统报告能做到这个程度，本身就是示范。

它的思路是什么？——三原则 + 四相

先记三条设计铁律，后面对号入座：

1. 结构先于语义：能用文档自带结构（字体层级、表格线、标题、分页）解决的，不上学习模型——确定性、便宜、可调试；
2. 不改所测：评估器只读，且复用生产环节的确切模型与配置——评估测的必须是生产那套系统；
3. 预算标注：全量真值不现实，用小型、模态平衡、可追溯采样的样本代替总体置信。

第一相，提取：让 OCR 成为例外。 每一页算一个图像面积比，超过 0.8 才栅格化送去视觉模型，其余全走 PyMuPDF 原生结构提取：字体大小校准标题层级、数字归一化后跨页复现的块当页眉页脚删掉、有线表用线检测、无线表用词对齐聚类（还配一个「这看起来像多栏散文」的守卫防止误伤）。在 Orion 语料的 10,507 页上，只有 8.1% 的页面走了 OCR。顺带一个细节见功力：策展环节判定「扫描页」用的是双信号——文本层少于 40 字符且图像占比高，避免「整页文字配一张大照片」被误判。

第二相，策展与评分：给提取器发考卷的人要靠谱。 两个组件。稀缺优先采样：语料 90% 是纯文本时，随机采样会让扫描页、图表页样本饿死——于是按模态配额做贪心覆盖（最稀缺的模态先挑，挑的时候优先选「还能顺便满足其他配额」的页面），配六表审计工作簿保证每个选择可复现。参考评分器：归一化后算 CER/WER/BLEU/长度比，表格用 TEDS 树编辑距离，最后合成一个分数——关键一笔是乘上覆盖率：一个「跳过所有难文档、只解简单题」的模型刷不出高分。这个反作弊设计值得所有做模型排行榜的人抄走。

第三相，分块：小卡片、大文件夹。 检索的粒度和阅读的粒度不该是同一个：子卡固定 320 token（上限 512）进向量索引，父级段落（≤3500 token）放在 KV 表里；查询时命中卡片、O(1) 查出文件夹喂给模型。四条切割规则里最值得学的是「表格和图是原子的」——绝不被切断；外加 48 token 重叠种子，让跨边界的答案至少完整出现在一张卡上。每个子卡的嵌入文本前还带一个结构面包屑「文档 > 标题 > 章节 > 小节 (p.12)」——这是 contextual retrieval 的确定性版本，零 LLM 成本。

第四相，只读检索评估。 用 Mistral-Medium 从每一页生成「页内可答」的问题（严禁外部知识），用与生产同一个指纹的嵌入模型去检索，命中判据是相似度达标且页距不超过 ±1。评估器只读——它永远不可能污染线上索引。

效果到底怎么样？

• 提取（覆盖率惩罚复合分）：Gemini 3.1 Pro 97.37 分（CER 0.13%）居首；Mistral OCR v3 95.98（CER 1.39%，表格 TEDS 仍在 0.97 以上）；两个紧凑版 Docling 落后 4-7 分，差距主要在表格结构。作为参照，作者早年基于 EDD 的方案在图像表格上只有 85% 词准确率——生产后端的错误率已经低了一到两个数量级，这个领域的进展速度可见一斑。
• 延迟：180 篇文档全量提取耗时 45-57 分钟，但其中约 34 分钟是所有后端共享的预处理固定成本——92% 页面走原生路由后，模型推理已经不是瓶颈，下一个优化对象是预处理。
• 检索：25,050 道合成问题上，hit@1 68.6%、hit@10 92.8%、MRR 0.77，中位排名 1——失误集中在长尾而不是均匀分布。

能拿来做什么？

• 企业 RAG 入口管线的参考架构：四相结构、每相自带证据产物，几乎可以直接照着排开发计划。
• 省 OCR 预算：页级路由 + 双信号扫描页判定，大多数企业语料能省下九成以上的视觉模型调用量。
• 评测排行榜防刷分：复合分乘覆盖率——专治「挑着做」的模型。
• 分块策略：原子表格 + 父子解耦 + 面包屑前缀，是一套零外部依赖（不用 LLM）的确定性方案。
• 评估纪律：只读评估器 + 生产指纹复用，杜绝「评估环境与生产漂移」这类慢性病。

泼冷水时间

• 全部数字是系统自测（论文里标 [D]）：内部语料、无公开代码和数据集，复现只能靠描述；「可审计」是架构属性，不是外部验证。
• 检索评估的问题是 LLM 合成的，生成质量依赖生成器本身；hit 判据里的页距 ±1 也是设计选择。
• 只测到检索层：hit@k 和 MRR 不等于端到端答案质量，生成环节的表现未知。
• 提取 ground truth 的样本规模未披露，稀缺优先采样虽然设计精巧，但「小样本代表总体」的置信度还是取决于标注质量。
• 0.81s 的单查询延迟主要由远程嵌入调用贡献——对延迟敏感的场景，这个数字并不算好看。

理性看待

这篇论文的价值不在任何一个单点技术——路由、采样、分块、评估拆开看都是已知组件的工程化——而在于它把「摄取」从一段没人愿意认领的胶水代码，抬升成了一个有接口、有指标、有审计轨迹的一等公民阶段。三条铁律里，「不改所测」尤其值得所有数据团队自查：你的评估环境和生产环境，用的是同一个 tokenizer、同一个嵌入模型、同一套正则吗？如果不是，那些漂亮的离线指标从一开始就没有在描述你的系统。

把这个系列放在一起看会更有意思：前面几篇论文证明了「入口表示错误，下游神仙难救」，这一篇给出了入口管线的工程答案。对一个要在企业文档上做 RAG 的团队来说，这一篇可能是十五篇里最像「施工图」的一篇——它不酷，但它对齐了踢脚线。

（数据与结论均来自论文原文，解读部分为作者观点，欢迎交流。）