Orchestrator 为什么比 Agentic Loop 快：LLM 决策与执行分离的架构解析

一个简单的agentic loop就是一个

1. while

循环，LLM 在其中决定做什么、执行工具、观察结果、再做决定。

这模式能用是可以用的不过有个最大的问题，就是费钱：

一个三 agent 查询要是用 agentic loop那么7 次 LLM 调用，4.2 秒，0.12 美元。如果用 orchestrator的话 2 次 LLM 调用，1.1 秒只要0.03 美元。同样的 agent同样的答案，却便宜 70%。

循环每转一圈就是一次 LLM 调用。每次调用多花 300-800ms 延迟和钱。简单的"调 check_greeting，再调 handle_hi"，两次 LLM 路由没问题，但是

• 为单个答案并行调三个 agent
• 执行顺序计划，步骤 2 依赖步骤 1
• 在生产中扛每秒几百个请求

agentic loop 就撑不住了。LLM 卡在每次决策的关键路径上，每次决策都会延迟。

 

https://avoid.overfit.cn/post/8c270e259b2a4172ac95d38d9ab68211