一次 AI 数据库 POC 的验收笔记:题目、判分、权限
验收笔记写到第三页,我停了一下。前两页记的是演示效果,第三页开始才是能签字的材料:题目从哪来,分怎么判,权限谁验,证据放在哪里。
我是老文,在甲方信息化部门做了十年,现在做独立顾问。这份笔记整理自一次评审的旁听记录,企业、题量、分数都是脱敏教学示例,不评价任何厂商。笔记的用法是给后面接手的人看:不用听转述,照着记录能复现一遍。
事由:一份没有附件的验收结论
某制造集团的 AI 数据库 POC 排了两周。第一周厂商演示 50 条自带问题,回答流畅,引用完整;第二周信息中心出 20 条,6 条答错,2 条答出了别的部门的制度,1 条在文档没有答案的地方编了一段。
会后有人起草验收结论,写的是“整体效果良好,具备试点条件”。附件一栏空着。
问题就在这里。结论可以只有一句话,但支撑它的是题目、判分、权限三类记录。三类记录缺一类,这句话就只是印象。我的笔记是从这三类记录倒着记的,先记哪类材料能支撑哪句话。
记笔记之前,先确认三件事:这次 POC 有没有在开始前定通过线,题集有没有封存,验收会上有没有信息安全和业务的人在场。三件事有一件没做,后面的记录就只能算过程材料,不能算验收证据。这个区分很重要,很多人把过程材料装订得很整齐,却拿不出一条能支撑结论的证据。
第一场争议:判分表要不要合成一个数
一方说:POC 看的是整体效果,合成一个准确率最直观,汇报时也省事。
另一方追问:合成之后,那 2 条越部门和 1 条编造放在哪一栏?它们会不会被平均掉?
这个追问让会场停了几秒。平均分的问题不在于算法,而在于它把性质不同的错放在同一个池子里。答错一条制度条款,和让低权限账号看到另一个部门的制度,不是同一种错,不能用一个数抵消。
示例里的做法是三项分开记:召回看正确段落有没有进前 5 条,示例通过线 0.80;可复核看每条答案能不能追到文档、版本、章节;不越权看两个低权限账号有没有看到不该看的内容,示例要求 0 次。0.80 是示例,不是行业标准,线要在 POC 开始前定好。
分开记的代价是汇报麻烦。一张表变成三张表,三张表还要三个人签字。但麻烦有麻烦的好处:哪一项没过,会上不用争“整体到底算几分”,直接翻到那一页。如果一项硬伤被合成进平均分,签字的人其实是在为一个自己没看清的结论背书。
第二场争议:题目清单谁保管
一方说:题目交给项目组保管就行,反正 POC 就两周,没人会改。
另一方追问:如果第二周发现某道题太难,是谁决定换掉?换了之后,前面那版判分表还算不算数?
题目清单看起来是资料,其实是证据。清单在谁手里,谁就掌握了“考什么”的权力。示例里的做法是:甲方出题,按四层配比,出完封存,POC 当天随机抽;厂商可以提交补充题,但单独装订,不计入主分。
题集是 100 条:高频 40、长尾 30、无答案 15、权限 15。高频题从近三个月的真实提问里选,长尾题覆盖不同章节,无答案题是故意留的,权限题设计成“内容存在,但这个账号不该看到”。题目出完先标标准答案、正确文档、正确段落,再封存。POC 中发现问题只记录,不换题;确实要换,整轮重来。
这条“不换题”的规矩,执行起来会碰到人情。某道题全错,业务会觉得题目出偏了,厂商会觉得不公平。可以复核题目,但复核记录要写清是题目问题还是系统问题,并由出题方和判分方共同确认。确认是题目的错,这一轮的成绩作废,下一轮换题重跑;不能只把这一道题轻轻划掉,剩下的分照算。
第三场争议:权限怎么验,证据留什么
一方说:权限在系统里有配置,演示时看一眼过滤条件就行了。
另一方追问:看一眼配置,能证明这个账号真的查不到吗?如果能,为什么第二周会查出别的部门的制度?
权限这件事,配置和结果是两回事。示例里准备两个低权限账号,一个只读本部门,一个只读另一个部门,再准备一条跨部门问题。验的不是界面上的勾选项,是查询返回的内容里有没有不该出现的段落。
所以笔记里要留的证据也很具体:哪个账号、问了什么、返回了哪些段落、这些段落属于哪个部门、过滤发生在检索前还是生成后。出现一次越权就停 POC,先查权限源和过滤位置,不急着换模型。
过滤位置这件事,业务听着抽象,翻译过来很直接:如果先检索再过滤,不该看的段落已经进了模型上下文,只是没显示在答案里,这仍然算越权;如果在检索前就用结构化字段把范围限死,模型根本接触不到那些段落。两种做法在界面上可能一模一样,日志里差别很大,所以证据要看到检索层,不能只看返回的答案。

附件一:题目清单
| 题型 | 示例题量 | 清单上要记什么 | 判分看什么 |
|---|---|---|---|
| 高频问题 | 40 | 问题原文、来源、标准答案 | 常见问题是否稳定答对 |
| 长尾问题 | 30 | 所在章节、组合关系 | 能否找全并拼完整 |
| 无答案问题 | 15 | 为什么判定无答案 | 是否编造,能否说不知道 |
| 权限问题 | 15 | 账号、部门、密级 | 是否越权,引用是否越界 |
附件二:判分记录
| 维度 | 记录内容(验证证据) | 责任人 | 示例线 | 不过怎么办 |
|---|---|---|---|---|
| 召回 | 正确段落是否进前 5 条,附检索日志 | 信息中心 | 0.80 | 查切分、索引、过滤,不换模型 |
| 可复核 | 文档、版本、章节能否逐条追到 | 信息中心 | 逐条可追 | 不能追的答案不计分 |
| 不越权 | 低权限账号的返回段落与过滤记录 | 信息安全 | 0 次 | 出现一次即停 POC |
附件三:证据目录
验收笔记写到末页,我留了几样东西的清单:
- 题集封存件与抽取记录,谁封的、谁抽的、双方签字;
- 三个维度的判分表,判分人分别是谁;
- 两个低权限账号的查询日志与返回段落;
- 本次使用的数据快照版本,以及文档的生效、作废状态;
- 外部调用、日志、缓存的出域清单。
这几样齐了,验收结论才有地方落。缺哪一样,就在结论里写明“该项未验证”,不要用“整体良好”盖过去。
这些材料要落到一张验收单上。示例的验收单按验收项逐行列:题集主权、高频与长尾、无答案、权限、可复核、停损,每行写责任人、验证证据和不过怎么办。停损线则单独列五条:低权限账号越权、引用不可追、无答案题硬答、召回连续两轮低于线、数据出域说不清。停与不停,不看当天谁声音大,看这五条有没有被触发。
附条件结论
三项核心指标都过,我的结论仍是附条件进入小范围试点:
- 题集、数据快照、判分记录归档,扩容时用同一套题复测;
- 权限过滤与主库同源,越权测试在试点环境再跑一遍;
- 内容版本、作废、删除的传播时延有明确约定,出错能追到文档和责任人。
三条缺一条,建议暂缓。暂缓不是否定方案,是这份笔记还撑不起“可以签字”四个字。
未决事项
- 试点范围多大、跑多久、谁出人;
- 内容治理的 owner 是谁;
- 现有权限体系要不要改,改造成本谁承担;
- 实施方撤场后谁接;
- 试点失败,回滚到现有系统需要多久。
这些不是 POC 能回答的,但会在采购评审时变成真问题。
笔记记到这里,能写的都写了。剩下的是别人的判断:业务认不认这个题集,信息安全认不认这份权限记录,信息中心认不认这套证据。三方都认,才轮得到签字。
如果你能补充文档量、问题来源、权限模型、试点范围,我可以给更具体的判断。

浙公网安备 33010602011771号