传统微服务是确定性、指令式、契约驱动;AI Agent 是不确定性、自主决策、工具调用驱动,两套范式天生冲突,直接拼在一起,复杂度和 bug 会直接放大,不是 Agent 本身不好,是混搭的时候很容易踩坑。
下面分根源、典型问题、常见 bug 类型、怎么缓解来讲。
一、底层范式冲突(最根本原因)
- 微服务:输入→固定逻辑→输出,契约稳定 微服务之间靠接口契约(OpenAPI、Protobuf)、消息队列、事务、重试、限流、熔断。
- 谁调用谁、参数是什么、返回结构、异常码,提前定义好
- 流程是编排好的:A→B→C,分支有限,可回归测试
- 故障边界清晰:要么 A 挂了,要么 B 返回错误,链路可追踪
- AI Agent:目标→自主规划→动态选工具→动态编排 Agent 不是你写死 “先调用订单服务,再调用库存服务”,而是给它一个目标:“帮我完成下单”,它自己决定:
- 要不要调用哪个微服务
- 调用顺序是什么
- 要不要多轮追问、要不要重试、要不要换方案
- 参数怎么从大模型的自然语言里提取、转换
微服务是流程图写死;Agent 是流程图运行时现场生成。 原来人写的确定编排代码,现在交给大模型动态生成,这就是复杂度爆炸的源头。
二、引入 Agent 后新增的几大类复杂度来源
1. 不可控的工具调用(最容易出 bug)
Agent 把微服务当成它的工具(tool):
- 大模型可能参数填错:字段类型错、漏传必填、id 传成文本、枚举值不对
- 调用顺序乱:先扣钱再查库存(业务时序错误,微服务本来有强顺序)
- 重复调用:多次调用同一个接口,造成重复下单、重复扣款(幂等被 Agent 的自主重试打破)
- 不该调用的服务也调用:越权、调用没有权限的内部接口
微服务的接口契约对代码是强约束,但对 LLM 只是一段文本描述(tool schema),LLM不保证遵守 schema。 传统代码:编译 / 单元测试就能发现参数错;Agent:只有运行时才翻车,而且每次翻车输入不一样。
2. 状态管理彻底变复杂
传统微服务链路:
- 链路 ID、上下文放在 header,状态存在数据库 / 缓存,状态流转是预先设计的有限状态机。
Agent 多了一层大模型会话状态 + 思考轨迹 + 工具返回结果:
- 记忆窗口问题:上下文太长丢信息、截断后丢失前面业务参数
- 多轮会话污染:历史对话混入无关信息,导致后续决策跑偏
- 双重状态:业务状态(订单状态)+ Agent 内部思考状态(计划、已完成步骤)不同步
比如:订单已经支付成功,但 Agent 的记忆里认为还没支付,继续发起支付。
3. 异常空间急剧膨胀
微服务的异常集合是有限的:超时、500、参数非法、库存不足。 Agent 会叠加一层LLM 本身的异常:
- 幻觉:编造不存在的接口、编造返回结果、编造业务数据
- 输出格式不稳定:说好返回 JSON,结果带注释、markdown、多余文字,JSON 解析失败
- 决策漂移:同样输入,不同次跑出来完全不一样的流程(非确定性)
传统 bug:可复现;Agent 类 bug:偶现、难以复现、很难定位,测试用例很难覆盖。
4. 编排责任转移,缺少管控层
很多项目直接上手:Agent → 直接调用微服务。 等于:把原本由工作流引擎 / 代码编排器承担的控制逻辑,交给了没有约束的大模型。 以前你用 Camunda、Spring Cloud Flow、Dapr Workflow:
- 分支、重试、回滚、补偿、超时、权限全部在编排层管控 现在 Agent 自己编排:
- 没有统一的补偿机制
- 没有固定的回滚策略
- 没有统一的熔断、限流、审批卡点
- 没有强制的业务规则校验(比如 “库存不足绝对不能下单” 只是 prompt 里一句话,LLM 可能忽略)
Prompt 是软约束,代码是硬约束,软约束非常容易被绕过。
5. 可观测性、调试成本飙升
传统微服务:链路追踪(SkyWalking、Jaeger)看调用栈、耗时、报错。 Agent 链路是: 用户query → LLM思考 → 规划步骤 → 调用工具A → 拿到结果 → LLM再思考 → 调用工具B 追踪系统只能看到工具调用,看不到模型内部为什么做出这个决策。
- 不知道它为什么选这个服务
- 不知道它为什么填错参数
- 不知道是幻觉、prompt 问题,还是业务本身问题 排查一个 bug,要同时看:prompt、模型输出、工具返回、业务日志、会话历史,维度多很多。
6. 边界没有切清楚:什么时候该用 Agent,什么时候不该
很多项目误区:所有流程都交给 Agent 接管。 适合 Agent:开放探索、多方案选择、自然语言交互、需要动态决策的场景(客服问题排查、数据分析、工单诊断)。 不适合 Agent:强一致性、强时序、高并发、资金交易、核心履约链路(下单、扣库存、结算)。 硬把核心交易微服务交给 Agent 自主编排,bug 数量必然暴涨。
三、典型高频 bug 清单(你大概率会碰到)
- JSON 输出不稳定,解析报错(最常见)
- 参数提取错误,传给微服务非法参数
- 时序错乱,业务流程颠倒
- 重复调用接口,幂等失效
- 幻觉,编造数据、编造接口调用
- 上下文截断丢失关键业务 ID、会话信息
- 忽略业务硬规则,prompt 约束失效
- 多用户并发下 Agent 会话串状态
- 工具调用成功,但模型理解错返回结果,继续错误决策
- 异常后 Agent 自主重试,越重试越破坏业务数据
四、怎么降低复杂度、减少 bug(工程上的标准做法)
核心思路:不要让 Agent 直接裸连微服务,加一层 “控制层”,把确定性和不确定性分开
-
Agent 只负责【规划和意图决策】,不直接执行原始微服务 中间加一层工具网关 / 工具编排服务:
- Agent 只能向网关申请执行动作
- 网关做强 schema 校验、参数校验、权限、幂等、限流、业务规则校验
- 网关拒绝非法调用,返回标准化错误,而不是直接把微服务裸暴露给 LLM
LLM 可以提想法,但能不能执行、怎么执行,由代码层说了算
- 区分 “自由决策步骤” 和 “固定业务子流程” 核心业务链路(支付、库存扣减)依然用传统工作流写死; Agent 只负责:判断要不要启动这个工作流、收集参数、解释结果、做分支选择,而不是去编排内部步骤。 也就是:Agent 调用预定义好的工作流实例,而不是一个个零散微服务。
- 强制结构化输出 + 格式校验 + 重试修复 不要依赖 LLM 自觉输出 JSON;增加:格式校验器,失败时自动让模型重生成。
- 独立 Agent 状态机,和业务状态机双向校验 业务状态(DB 为准)是真值;Agent 的计划只是 “视图”,每一步执行前,先拉取业务状态做校验,不相信模型记忆。
- 完善 Agent 专属可观测 记录:用户 query、prompt、模型思考、计划、工具入参、工具返回、模型最终输出,单独的 Agent 追踪日志,而不是只依赖微服务链路。
- 缩小 Agent 的决策空间 少给一堆零散工具,按场景分组;能用枚举、固定选项,就不要开放自由文本。工具越少,幻觉和错误越少。
- 测试体系升级 传统单元测试不够,要加:
- 红队测试:构造容易幻觉、容易参数错误的输入
- 评估集:持续评估 Agent 调用工具的准确率
- 沙箱环境:所有工具调用先打沙箱,验证流程,再上生产
五、总结
不是 AI Agent 本身带来 bug,而是:
用适合确定性代码编排的微服务架构,不加隔离、不加约束,直接承载大模型自主动态决策,把硬契约交给软的 prompt 约束,不确定性被放大。
理想架构不是 “Agent 替代微服务编排”,而是: 微服务 + 工作流负责确定性业务执行;Agent 负责上层意图理解、动态路由、多轮交互、探索式决策;中间加一层可靠的工具网关做校验和防护。