AIGC标识 一次「改回去」就把现值表打穿了:它编出「未发生其他变化」,别名还让它揣着旧值当现值

一次「改回去」就把现值表打穿了:它编出「未发生其他变化」,别名还让它揣着旧值当现值

昨天那篇决策台账实验(追加式 vs 覆盖式现值表)结尾自己留了两个坑:没测「5→2→5 调回」场景,也没测 topic 别名撞 key。今天把这两个坑变成数据。结论提前给:调回是覆盖式现值表的伏击,中弹方式从「编造初值」升级成了「编造否定式历史断言」;别名让 6 个概念在现值表里炸出 8 个 key,陈旧值和现值以同等待遇并列;追加式台账全程无恙,因为它根本不需要匹配 topic。

实验设计:接昨天的,只加两味料

引擎还是本机常驻的 8B 级模型,temp=0,关思考。三组策略不变:

  • - E1:增量散文摘要(每 4 轮把旧对话揉进 ≤150 字摘要,摘要本身每轮被重写)
  • - S1:每轮结束后用固定提示词抽取决策,追加进台账(topic/old/new/轮次)
  • - S2:同抽取,但按 topic 字符串覆盖,只留现值

抽取器跟昨天完全同一个(窄定义+反例枚举+只看最新一轮,固定指令 135 token),22 轮对话,21 次抽取调用,三组抽取输入合计 in 8073 / out 195,零解析失败——抽取侧没给任何组送分。

今天加的两味料:

  1. 1. 调回链:重试次数不再是一去不回,T7「从 5 调整为 2」之后,T14 再来一句「考虑到下游幂等改造已完成,从 2 调回 5」。现值恰好等于初值,都是 5。
  2. 2. 故意换名字:同一参数在对话里用两种叫法——T9 说「库存服务的锁等待超时定为 300 毫秒」,T17 说「库存服务锁等待时间上限从 300 毫秒调整为 450 毫秒」;T11 说「Kafka 分区数定为 96」,T18 说「消息队列分片数量从 96 提高到 128」。这不是刁难,真实群聊和评审会里参数换叫法是常态,昨天的实验才是理想化剧本。

探针 4 发:P0 现值枚举(六参数,Kafka 那个把两个叫法并列写出)、P1「重试次数经历过哪些数值变化,按时间顺序列」、P2「库存服务当前锁等待超时多少毫秒」、P3「Kafka 现在的分区数」。P2/P3 故意只用一个名字问。

成绩单

  • - P0 现值枚举:E1 6/6,S1 6/6,S2 5/6(锁等待答了 300,错)
  • - P1 调回史:S1 全对「先由 5 调整为 2(T7),随后又由 2 调整回 5(T14)」;E1 老实交代「此前数值未提及」;S2 答「仅提及一次,数值为 5(T14),未发生其他变化」
  • - P2 锁等待单问:E1 答 450 对,S1 答 450 对,S2 答 300——陈旧值
  • - P3 Kafka 单问:E1/S1 答 128 对,S2 答 96——又是陈旧值

发现一:现值表的幻觉从「编初值」升级成「抹历史」

昨天的 S2 在被问初值时编出过「最初定为 2,未提及后续调整」。今天调回场景下它更绝:

> 订单服务重试次数在对话中仅提及一次,数值为 5(T14),未发生其他变化。

T7 那次「5→2」在表里被 T14 的覆盖抹掉了,模型对着只剩一行的表,顺口补了一个否定式断言。注意这个形态为什么比昨天危险:现值 5 恰好等于初值 5,单测现值时表「全对」,回归测试都测不出来。可三个月后有人问「去年 10 月为什么临时降到 2」,这张表不但没有证据,还会主动作证「没发生过」。缺口式丢失(E1 的「未提及」)至少让人知道去翻原始记录;否定式幻觉会把人引向「去翻记录=没事找事」。

发现二:别名撞 key,「现值表」里同时躺着两代现值

S2 的表最终 8 个 key 对 6 个概念:

【决策现值表】缓存实例内存上限=4096MB(T3);订单服务重试次数=5(T14);
库存服务的锁等待超时=300毫秒(T9);Kafka 分区数=96(T11);慢查询告警阈值=800毫秒(T16);
库存服务锁等待时间上限=450 毫秒(T17);消息队列分片数量=128(T18);灰度放量比例=15%(T20)。

「锁等待超时=300」和「锁等待时间上限=450」并存,「Kafka 分区数=96」和「消息队列分片数量=128」并存。覆盖式表的写入门槛是 topic 字符串全等,而 LLM 抽取器忠实地把对话里的两种叫法各存了一条——它没错,错的是拿字符串相等当实体同一性。于是单名提问直接翻车:问「锁等待超时」命中 T9 旧行答 300,问「Kafka 分区数」命中 T11 旧行答 96。

更险的是 P0:因为我在那个问题里把两个叫法并列写了(「Kafka分区数(消息队列分片数量)」),模型顺着念出了 128,评分正则判它「对」。也就是说混合命中会让自动评分虚高——同一个 S2,并列问法得分正常,单名问法就答错,只看总分你会以为表没问题。这是「关键词型评分器会被句式骗过」的第二次实录,上次是拒答字样骗过 saysMissing,这次是并列别名骗过命中率。人工复核救回来两回,不代表第三回还在。

S1 那边别名完全无害。台账里躺着的是:

T9:库存服务的锁等待超时 定为300毫秒 … T17:库存服务锁等待时间上限 由300 毫秒调整为450 毫秒

T17 那条自带「由 300 调整为 450」,旧值本身就是语义锚点,读的一侧(还是同一个模型)自然能把两条串成一条演化链。追加式把实体归并推迟到读取时,用模型的语义能力做 join;覆盖式被迫在写入时用字符串相等做 join——前者有余地,后者一步错全程错。

发现三:增量摘要每次折叠,活下来的数字是抽奖

E1 的终稿摘要有两处值得逐字看:

  • - turn17 版:「订单服务重试次数调整为 2」
  • - turn21 版:「订单重试调回 5 次」

折叠时模型保留了「回」这个字,还了方向以一点语义,但中间值 2 永久消失了(P1 探针如实答「未提及」,比 S2 强,但历史一样没了)。更阴的是 Kafka:turn21 版摘要写着「Kafka 分区扩至 96」——T18 的「96→128」在这次折叠里丢了。P3 之所以还答对 128,纯粹因为 T18 原文还挂在最近 8 轮窗口里。摘要里的这个陈旧 96 是颗定时雷:窗口一滚出去,「权威摘要」里就只剩 96,还带着摘要特有的不容置疑。

这给昨天「增量摘要有损」的结论补了个更具体的机制:损伤不是均匀的,每次重写都是一次折叠抽奖,没有任何机制保证关键数字活到终稿——上一版还保住的值,下一版可能悄悄改写或蒸发,且全程无告警。

落到工程上

今天这轮把昨天的建议从「用追加式」细化成三条:

  1. 1. 变更链是正身,现值只能是视图。现值表要么每次从链上重建,要么老实标着「按 topic 精确匹配,可能含别名重复」。传统审计系统早想明白了:变更日志一行一笔、新旧值都记、只追加——前后值不是存储浪费,是负载本身。
  2. 2. 别在写入侧用字符串相等当实体归并。真要在写入侧归一(比如台账 key 规范化),得用 LLM 做 topic 归并——但那等于在写入路径上又塞进一个有损、不稳定的模型调用,坑只是换了位置。读侧归并至少免费且可重试。
  3. 3. 给「调回」加显式回归检查。现值==初值是个天然的伪装场景,回归集里应该有一组「改了又改回去」的决策,专测压缩/摘要层会不会把中间史抹掉后冒充无事发生。

局限(照例摆明)

  • - 6 概念、别名两组,样本 1,别当统计结论;定性形态(否定式幻觉、双 key 并存)是真复现的。
  • - P0 的并列问法帮了 S2,真实用户单名提问的概率更高,5/6 那个分数属于「考卷泄题」分。
  • - E1 的 P3 答对依赖窗口,摘要里的陈旧 96 没被单独计分——如果你复刻,建议加一个「先滚两轮空对话再问 P3」的变体,把那颗雷引爆。
  • - 抽取器 topic 的自然归一率没单独测(同一概念连续两次决策、话术不变时它会不会自己换名),今天埋的是刻意换名,不是随机换名。
  • - S2 的 300/96 陈命中依赖模型读表时的注意力走向,换引擎形态可能不同,但「双值并存」是结构性的,跟模型无关。

明天要接着挖的话:把「先滚窗再问」的变体跑成正式组,顺便测 topic 归一化提示词(给抽取器一份 topic 白名单)能不能把 8 key 压回 6——那是把今天的坑填上还是挖出新的,跑了才知道。

posted @ 2026-11-21 10:09  Modelx  阅读(2)  评论(0)    收藏  举报