AIGC标识 一次 AI 数据库 POC 的验收笔记:题目、判分、权限

验收笔记写到第三页,我停了一下。前两页记的是演示效果,第三页开始才是能签字的材料:题目从哪来,分怎么判,权限谁验,证据放在哪里。

我是老文,在甲方信息化部门做了十年,现在做独立顾问。这份笔记整理自一次评审的旁听记录,企业、题量、分数都是脱敏教学示例,不评价任何厂商。笔记的用法是给后面接手的人看:不用听转述,照着记录能复现一遍。

事由:一份没有附件的验收结论

某制造集团的 AI 数据库 POC 排了两周。第一周厂商演示 50 条自带问题,回答流畅,引用完整;第二周信息中心出 20 条,6 条答错,2 条答出了别的部门的制度,1 条在文档没有答案的地方编了一段。

会后有人起草验收结论,写的是“整体效果良好,具备试点条件”。附件一栏空着。

问题就在这里。结论可以只有一句话,但支撑它的是题目、判分、权限三类记录。三类记录缺一类,这句话就只是印象。我的笔记是从这三类记录倒着记的,先记哪类材料能支撑哪句话。

记笔记之前,先确认三件事:这次 POC 有没有在开始前定通过线,题集有没有封存,验收会上有没有信息安全和业务的人在场。三件事有一件没做,后面的记录就只能算过程材料,不能算验收证据。这个区分很重要,很多人把过程材料装订得很整齐,却拿不出一条能支撑结论的证据。

第一场争议:判分表要不要合成一个数

一方说:POC 看的是整体效果,合成一个准确率最直观,汇报时也省事。

另一方追问:合成之后,那 2 条越部门和 1 条编造放在哪一栏?它们会不会被平均掉?

这个追问让会场停了几秒。平均分的问题不在于算法,而在于它把性质不同的错放在同一个池子里。答错一条制度条款,和让低权限账号看到另一个部门的制度,不是同一种错,不能用一个数抵消。

示例里的做法是三项分开记:召回看正确段落有没有进前 5 条,示例通过线 0.80;可复核看每条答案能不能追到文档、版本、章节;不越权看两个低权限账号有没有看到不该看的内容,示例要求 0 次。0.80 是示例,不是行业标准,线要在 POC 开始前定好。

分开记的代价是汇报麻烦。一张表变成三张表,三张表还要三个人签字。但麻烦有麻烦的好处:哪一项没过,会上不用争“整体到底算几分”,直接翻到那一页。如果一项硬伤被合成进平均分,签字的人其实是在为一个自己没看清的结论背书。

第二场争议:题目清单谁保管

一方说:题目交给项目组保管就行,反正 POC 就两周,没人会改。

另一方追问:如果第二周发现某道题太难,是谁决定换掉?换了之后,前面那版判分表还算不算数?

题目清单看起来是资料,其实是证据。清单在谁手里,谁就掌握了“考什么”的权力。示例里的做法是:甲方出题,按四层配比,出完封存,POC 当天随机抽;厂商可以提交补充题,但单独装订,不计入主分。

题集是 100 条:高频 40、长尾 30、无答案 15、权限 15。高频题从近三个月的真实提问里选,长尾题覆盖不同章节,无答案题是故意留的,权限题设计成“内容存在,但这个账号不该看到”。题目出完先标标准答案、正确文档、正确段落,再封存。POC 中发现问题只记录,不换题;确实要换,整轮重来。

这条“不换题”的规矩,执行起来会碰到人情。某道题全错,业务会觉得题目出偏了,厂商会觉得不公平。可以复核题目,但复核记录要写清是题目问题还是系统问题,并由出题方和判分方共同确认。确认是题目的错,这一轮的成绩作废,下一轮换题重跑;不能只把这一道题轻轻划掉,剩下的分照算。

第三场争议:权限怎么验,证据留什么

一方说:权限在系统里有配置,演示时看一眼过滤条件就行了。

另一方追问:看一眼配置,能证明这个账号真的查不到吗?如果能,为什么第二周会查出别的部门的制度?

权限这件事,配置和结果是两回事。示例里准备两个低权限账号,一个只读本部门,一个只读另一个部门,再准备一条跨部门问题。验的不是界面上的勾选项,是查询返回的内容里有没有不该出现的段落。

所以笔记里要留的证据也很具体:哪个账号、问了什么、返回了哪些段落、这些段落属于哪个部门、过滤发生在检索前还是生成后。出现一次越权就停 POC,先查权限源和过滤位置,不急着换模型。

过滤位置这件事,业务听着抽象,翻译过来很直接:如果先检索再过滤,不该看的段落已经进了模型上下文,只是没显示在答案里,这仍然算越权;如果在检索前就用结构化字段把范围限死,模型根本接触不到那些段落。两种做法在界面上可能一模一样,日志里差别很大,所以证据要看到检索层,不能只看返回的答案。

aiw_1110_ip03_cnblogs_02_poc

附件一:题目清单

题型 示例题量 清单上要记什么 判分看什么
高频问题 40 问题原文、来源、标准答案 常见问题是否稳定答对
长尾问题 30 所在章节、组合关系 能否找全并拼完整
无答案问题 15 为什么判定无答案 是否编造,能否说不知道
权限问题 15 账号、部门、密级 是否越权,引用是否越界

附件二:判分记录

维度 记录内容(验证证据) 责任人 示例线 不过怎么办
召回 正确段落是否进前 5 条,附检索日志 信息中心 0.80 查切分、索引、过滤,不换模型
可复核 文档、版本、章节能否逐条追到 信息中心 逐条可追 不能追的答案不计分
不越权 低权限账号的返回段落与过滤记录 信息安全 0 次 出现一次即停 POC

附件三:证据目录

验收笔记写到末页,我留了几样东西的清单:

  • 题集封存件与抽取记录,谁封的、谁抽的、双方签字;
  • 三个维度的判分表,判分人分别是谁;
  • 两个低权限账号的查询日志与返回段落;
  • 本次使用的数据快照版本,以及文档的生效、作废状态;
  • 外部调用、日志、缓存的出域清单。

这几样齐了,验收结论才有地方落。缺哪一样,就在结论里写明“该项未验证”,不要用“整体良好”盖过去。

这些材料要落到一张验收单上。示例的验收单按验收项逐行列:题集主权、高频与长尾、无答案、权限、可复核、停损,每行写责任人、验证证据和不过怎么办。停损线则单独列五条:低权限账号越权、引用不可追、无答案题硬答、召回连续两轮低于线、数据出域说不清。停与不停,不看当天谁声音大,看这五条有没有被触发。

附条件结论

三项核心指标都过,我的结论仍是附条件进入小范围试点:

  1. 题集、数据快照、判分记录归档,扩容时用同一套题复测;
  2. 权限过滤与主库同源,越权测试在试点环境再跑一遍;
  3. 内容版本、作废、删除的传播时延有明确约定,出错能追到文档和责任人。

三条缺一条,建议暂缓。暂缓不是否定方案,是这份笔记还撑不起“可以签字”四个字。

未决事项

  • 试点范围多大、跑多久、谁出人;
  • 内容治理的 owner 是谁;
  • 现有权限体系要不要改,改造成本谁承担;
  • 实施方撤场后谁接;
  • 试点失败,回滚到现有系统需要多久。

这些不是 POC 能回答的,但会在采购评审时变成真问题。

笔记记到这里,能写的都写了。剩下的是别人的判断:业务认不认这个题集,信息安全认不认这份权限记录,信息中心认不认这套证据。三方都认,才轮得到签字。

如果你能补充文档量、问题来源、权限模型、试点范围,我可以给更具体的判断。

posted @ 2026-11-10 10:48  选型参谋老文  阅读(0)  评论(0)    收藏  举报