AI 流式回答断在工具执行后,为什么不能直接重试整轮任务?
有一类故障特别难从聊天窗口判断:模型已经决定调用工具,工具也完成了操作,但客户端还没收到工具结果,流就断了。用户看到的是“正在重连”,于是点击重试。第二次请求又做了一遍同样的事,结果可能是重复创建工单、重复发送通知,或把同一份数据写入两次。
这和“模型回答到一半少了几个字”不是同一种失败。前者涉及外部动作,不能只靠重新发送提示词恢复。下面用一个测试环境中的“创建导出任务”说明怎样定位和处理。例子是设计演练,不是某个平台的生产事故。
先画出可能断开的那一段
一次带工具调用的任务至少经过这些步骤:
用户提交“导出本周报表”
→ 模型生成工具调用
→ 应用收到工具参数
→ 应用创建导出任务
→ 应用把工具结果返回给模型
→ 模型给用户最终答复
如果断线发生在“创建导出任务”之前,恢复时可以在核对状态后执行;如果发生在创建之后、回传结果之前,盲目重试就会产生第二个任务。仅凭聊天窗口最后显示的文字,分不清这两个时刻。
排查时把三件事分开记录:模型响应有没有正常结束、工具有没有执行、业务动作有没有提交。HTTP 200 只能说明连接已经开始返回;客户端收到部分文字也不能证明工具和业务都完成。流结束后,应按当前接口的协议状态判断模型请求;业务是否完成,则以自己的数据库和目标系统为准。
用稳定的动作 ID 识别“同一次操作”
在调用模型之前,应用先为用户这次提交生成一个 operation_id。它代表“用户本意上的一次导出”,而不是某次 HTTP 请求。网络重试可能有多个 request_id,但它们应指向同一个 operation_id。
动作记录可以从下面的最小结构开始:
| 字段 | 用途 |
|---|---|
operation_id |
同一业务动作的稳定标识;由应用生成并持久保存 |
request_id |
单次模型请求的排错标识;重试时可以变化 |
tool_name |
本次实际执行的工具类型 |
arguments_hash |
规范化参数后的摘要,用于发现同一 ID 下参数被改动 |
status |
pending、running、succeeded、failed 等状态 |
external_result_id |
外部系统返回的任务或订单标识 |
不能只把整个模型工具调用的 JSON 当作幂等键:字段顺序、无关的描述文字,甚至模型再次生成的调用 ID 都可能改变。业务键应该来自用户提交和应用状态。如果同一个 operation_id 带着不同的关键参数再次到达,应拒绝并人工核对,而不是悄悄把旧任务当作新请求。
提交边界要清楚
最简单的保护是在业务表对 operation_id 加唯一约束。处理流程可以写成这样:
收到工具调用
1. 根据 operation_id 查询已有动作
2. 已成功:返回已保存的 external_result_id
3. 正在执行:返回“处理中”或等待状态,不再启动第二次
4. 未执行:尝试占有该动作,并提交 pending/running 状态
5. 调用外部系统
6. 保存外部结果和 succeeded 状态
7. 将结果返回给模型
第 4 步需要原子地争取执行权。先查再插、没有唯一约束,在两个并发重试同时到达时仍会重复执行。把数据库状态和外部系统调用放在一个普通数据库事务里,也不能自动得到跨系统事务:外部系统成功而本地还没写入成功状态时,进程照样可能崩溃。
如果外部系统支持自己的幂等键,把同一个 operation_id 传过去,并在恢复时按该键查询结果。如果它不支持,就为这个失败窗口准备查询或对账步骤。例如导出任务可以按创建者、时间段和业务标识查已有任务;支付、发货等高风险动作不能用“没收到响应”推定“没执行”,应先查询权威状态,再决定是否补做。
把四种中断分别演练
不要一上来用生产任务试。准备一个不会发送真实通知、不会扣费的测试工具,逐次人为中断在以下位置:
- 工具执行前:检查恢复后只执行一次。
- 外部系统成功后、应用写成功状态前:检查是否能按业务标识找回旧结果;这是最容易漏掉的窗口。
- 应用已保存成功、模型还没收到工具结果前:检查重试是否直接复用结果。
- 模型已经回答、客户端没收到结束事件前:检查界面是否能把“响应未确认完整”和“业务已完成”同时展示,而不是再触发动作。
每次演练都记录 operation_id、请求次数、工具启动次数、外部系统对象数和最终状态。验收标准不是“模型最后说成功”,而是目标系统里确实只有一个业务对象,并且客户端恢复后能给用户一个可核查的结果。
中转入口能帮到哪一步
项目通过 NexoToken 这样的多模型 API 入口接入时,可以统一选择模型并核对请求、计费和连接状态;但“重试后是否重复创建报表”仍由应用的工具执行层决定。换模型或换中转地址前,先用同一套动作 ID 和断点演练,分别观察模型请求状态与业务结果。这样即使两条接入线路的表现不同,也不会把业务重复执行错归因于某个模型。
最值得先补的不是一张“成功率排行榜”,而是一次操作的状态查询入口和可复用的执行结果。它们让用户在断线后有明确答案:任务没开始、正在处理、已经完成,还是需要人工核对。只有分清这些状态,重试才有可能安全。
本文由 AI 辅助起草,示例为演练方法,无平台实测数据。
浙公网安备 33010602011771号