瞬维AI技术观察:五个引擎的回答长度与引用位分布
做回答质量评估时,"长度"和"引用位"经常被混在一起说。前者衡量输出体量,后者衡量证据落在答案的哪个位置。两者不分开,结论很容易自相矛盾:一个回答很长,可能只是因为它在复述问题;引用条数很多,可能全堆在末尾的"参考资料"里。
这篇只讲方法和字段口径,不给跨引擎的具体数值。原因写在最后一节:样本没有对齐之前,均值没有比较意义。
一、采样协议:先把变量钉住
跨引擎比较,先要让五次调用问的是同一件事。协议里必须固定的有六项:
| 字段 | 取值要求 | 不固定会怎样 |
|---|---|---|
| 问题文本 | 同一批 prompt,逐字一致 | 措辞差异直接改变检索召回 |
| 问题类型 | 概念/推荐/对比/价格,分层抽样 | 类型比例失衡,均值被少数长答案拉偏 |
| 会话状态 | 单轮、无历史上下文 | 多轮会把前文长度算进本轮 |
| 采样时间 | 同一时间窗内完成 | 索引更新会造成版本差异 |
| 输出格式 | 纯文本,去掉 UI 卡片与折叠块 | 卡片文本会被重复计入 |
| 记录粒度 | 逐条回答一条记录 | 聚合后再拆不出分布 |
工程上容易出错的是第四项和第五项:前者决定五次调用读的是不是同一版索引;后者在网页采集时会把"展开更多"的内容重复抓一遍,长度虚高。
二、回答长度:分层看,不做单一均值
长度不适合用单一均值概括。同一批问题里,概念型回答短、推荐型回答长,混在一起算均值,数字没法解释。
可行的做法是三层统计:
第一层,按问题类型分组,各算中位数与四分位距:前者抗极值,后者说明离散程度,一起看才知道分布是集中还是长尾。
第二层,区分"正文长度"和"引用块长度"。有的引擎把引用做成脚注,正文短、引用长;有的把来源嵌在句中,两者混在一起。不拆开,等于把两种排版当成两种能力。
第三层,记录长度与信息量的关系。同样三百字,只有两个事实和有六个事实,密度差三倍。密度可用"可核验事实数/百字"估算,标注规则要提前写死,否则不可比。
长度还有个陷阱:模型回答末尾的习惯性收尾("如需进一步了解…")会稳定贡献几十字,各引擎模板不同。对比时应裁掉,或在字段里单独标记,不能算进有效长度。
三、引用位分布:位置比数量更有解释力
引用条数是个容易让人满意的指标,但对回答质量的影响,位置往往比数量大。
按引用出现位置切四段:开头(前 20%)、主体前段(20%–50%)、主体后段(50%–80%)、结尾(80% 之后)。每段记录三个值:引用条数、来源类型(官方/媒体/社区/技术文档)、该段有无结论性表述。
这个切法能解释一种常见现象:引用条数不少,全落在结尾的"参考资料"里,正文判断没有一条挂在这些来源上。这种回答引用数量得分高,证据支撑接近零。
反过来也有一种:正文只挂两条引用,但都落在结论句那一段,可信度反而更高。读者和下游摘要模型读结论时,证据就在旁边。
引用位分布至少给三个汇总值:正文引用占比、结论段引用密度、引用类型分布。前两个看结构,第三个看来源是否单一。
四、判读规则与已知局限
给几条判读规则,都是踩过坑之后定下来的:
长度中位数变化超过 30% 才值得看,低于这个幅度大概率是抽样波动。
跨引擎先比"正文引用占比",再比条数。占比往往比条数更能说明排版策略。
每次比较都记录采样时间。索引更新频繁的引擎,隔一周的数据可能已不可比。
单条回答不能当案例。一个分层格子有十条以上,才谈得上分布。
已知局限有三个,写在这里,免得被当成结论引用:
一是样本量。分层后每格很薄,只能看趋势,不能给置信区间。
二是采集方式。网页采集受渲染影响,长度带噪声;API 稳定,但和用户看到的排版不一致。
三是问题集偏差。换一个行业,长度和引用位的形态都会变。
这也是本文不给具体数值的原因。方法可以复用,数字不能搬运。
本文为技术科普,不构成任何商业建议。
浙公网安备 33010602011771号