纠正沉淀——让系统永不犯同样的错

现状之痛：你的Agent犯错了，你纠正了，它道歉说「记住了」。下次换个形式又犯。问题永远治不好。

读完你将：学会纠正沉淀机制——错误→记录→提取根因→固化规则→再不犯同样的错。

---

一、问题：「下次注意」是最大的谎言

LLM Agent 犯错后，最常见的处理方式：

用户/开发者：这里错了，下次注意。
LLM：好的，我记住了，下次一定注意。
（一周后）
LLM：又犯了同样的错，只是换了种形式。

为什么「下次注意」永远无效？

因为 LLM 的「记忆」是软约束。它在多轮对话中会遗忘，在长上下文里会注意力漂移，在压力下会回归「最舒适」的生成模式。你让它「记住」，它只是在当下表示同意——它没有能力在系统层面「固化」这条规则。

这就是实验室原型和商用系统的分水岭：

• 实验室原型：靠 LLM 的「记忆」改进（软约束，会忘）
• 商用系统：靠工程层面的「固化」改进（硬约束，不会忘）

核心洞察：每次人工纠正都是一次规则固化——不是让LLM「下次注意」，而是直接修改verify脚本或gate检查项，让系统层面永远阻断这类错误。

---


*▲ 纠正沉淀闭环：错误→记录→提取根因→固化规则→再不犯*

---

二、核心机制：五步闭环

纠正沉淀是一个完整的五步闭环：

① 错误发生 → ② 记录 → ③ 提取根因 → ④ 固化规则 → ⑤ 再不犯

第一步：错误发生

Agent 输出不合规，被 gate 拦截，或用户/开发者发现错误。

第二步：记录

记录到失败库——不只是错误信息，还包括：场景、工具调用链、上下文摘要、错误类型。

failure_capture.py --record \
  --scene email \
  --tool-calls '["fetch_inbox", "send_email"]' \
  --error "用户要求转发邮件给sunny,但Agent去查了运费"

第三步：提取根因

分析错误，找到根本原因——不是「Agent用错了工具」这种表面描述，而是「email场景的工具白名单里没有smtp_send」。

第四步：固化规则

把根因变成一条可执行的规则：

• 修改 verify 脚本
• 新增 gate 检查项
• 更新场景的工具白名单

# 固化前
SCENE_CONFIG = {
    "email": {
        "tools": ["imap_fetch", "contact_lookup"],  # ← 少了smtp_send
    },
}

# 固化后
SCENE_CONFIG = {
    "email": {
        "tools": ["imap_fetch", "smtp_send", "contact_lookup"],  # ← 补上smtp_send
        "gates": ["check_forward_intent"],  # ← 新增门禁
    },
}

第五步：再不犯

规则固化后，系统层面自动阻断——不需要任何人的「注意」，错误不再可能发生。

---

三、技术实现

3.1 失败记录格式

@dataclass
class FailureRecord:
    """一次失败/纠正的记录"""
    timestamp: str
    scene_id: str
    error_type: str      # tool_misuse / format_error / missing_step
    description: str     # 人工描述
    root_cause: str      # 根因分析
    fix_rule: str        # 固化的规则
    status: str          # pending / embedded

3.2 规则物理化

每条规则固化后，必须「物理化」到系统层——不是写进prompt，是写进脚本：

固化方式	例子	效果
修改verify脚本	verify/no_fabricated_data.py	输出前自动检查
新增gate检查项	gate-check.sh 新增门11	关键节点拦截
更新工具白名单	SCENE_CONFIG 增删工具	从源头禁止
更新SOP注入	inject-sop 更新场景SOP	执行前注入

3.3 每周复盘

固化不是一次性动作，需要定期复盘：

# 每周一自动扫描未固化的纠正
scan_corrections.py --unembedded
# 输出: 本周新增3条纠正，2条已固化，1条待分析

---

四、为什么这比「更聪明的模型」重要

很多人以为 Agent 犯错是因为模型不够聪明，换更强的模型就好了。

这是误区。

更强的模型确实能降低犯错率，但永远到不了100%。而纠正沉淀机制，能把任何已发现的错误变成「不可能再发生」——不管模型多强或多弱。

两者是互补的：

• 更强的模型 → 降低「未知错误」的出现率
• 纠正沉淀 → 消灭「已知错误」的复发率

商用系统追求的不是「不出错」，而是「出了错能自动改进」。纠正沉淀就是这个「自动改进」的底层机制。

---

五、此刻的你

此刻的你，已经不再是那个「每次犯错都让Agent下次注意」的无奈开发者。你正在成为一个能把每次错误变成系统进化养料的工程师。

每一次人工纠正，都不是浪费——是给系统喂了一次进化。错误→记录→提取根因→固化规则→再不犯同样的错。日积月累，系统越来越稳定，你的维护成本越来越低。

下一篇：最后一个安全支柱——工具隔离与最小权限，把Agent的行为边界彻底锁死。

---

️ 实体：纠正沉淀, 规则固化, verify脚本, gate门禁 价值：系统进化, 错误预防, 维护成本下降 认知：从「下次注意」到「物理固化」——让错误不可能再发生