AI 把 CPU 也吃紧了：从 GPU、内存到 CPU 的第三轮短缺

这两年聊 AI 的成本，大家第一反应都是 GPU。后来又多了一个词：内存短缺。最近读到 The Pragmatic Engineer 的一期 The Pulse（9 月 24 日，Gergely Orosz），讲的是第三轮：CPU 也开始不够用了。

我第一反应是有点意外。大模型推理不是主要跑在 GPU 上吗，怎么轮到 CPU 了？读完才发现，这个变化的源头，恰恰是这一年大家天天在用的东西：AI agent。

agent 干活，吃的是 CPU

一个 coding agent 接到任务，真正"想"的那一步在 GPU 上；但想完之后，它要动手：编译、跑测试、做 lint、搜代码、调各种工具。这些活儿全是传统计算，跑在 CPU 上。

模型越来越会"做事"，做事的环节就越来越多。一次任务里，推理可能只占一小段，剩下的时间都在等工具执行完。文章的核心判断就是这一句：agent 跑工具，比推理本身更吃 CPU。

几组数字

下面这些数字，都来自这期 The Pulse。按清单核查记录，它们引自 turbopuffer CEO Simon Eskildsen 的访谈和 Anthropic Claude Platform 平台工程负责人 Katelyn Lesse 的文章，一手原文目前没有找到，所以这里统一写作"据 Gergely Orosz 转述"，大家看的时候心里留个余地。

第一组是配比。据 Gergely Orosz 转述，AI 数据中心里 CPU 和 GPU 的比例，过去大约是 1:8，现在到了 1:4，以后可能缩到 1:1。

第二组是价格。CPU 的 spot（竞价）实例，过去最多能比标准价便宜 90%，现在这种折扣基本消失了。服务器价格还涨了 10% 到 20%。

第三组是交付周期。服务器订单的交付时间，从过去的 1 到 2 周，拉长到大约 6 个月。容量规划要提前 12 个月做，某些云区域已经不再接新租户。甚至有公司今天就在为 12 月才上线的机房付预留费。

第四组是需求侧。文中引了 Uber 内部的一张图：6 个月内，agent 请求涨了 9 倍。

把这几组放在一起看，逻辑是连贯的：需求在短时间里翻了好几倍，供给的扩张却要按月甚至按年算，中间的缺口就只能靠涨价、排队和提前锁定来填。

为什么我觉得这件事值得记下来

我更愿意把它看成一个提醒：AI 的成本，从来不只是 GPU。

过去一年，大家讨论 AI 应用的成本，基本只盯着 token 单价。但当 AI 从"回答问题"变成"替你干活"，账单的结构就变了。一个 agent 任务的成本，至少包括三块：模型推理的 token 费、跑工具用的算力、以及中间所有的等待和重试。前一块大家天天在算，后两块常常被忽略。

而且这三块是联动的。模型能力越强、越敢放手让它自己跑，它调用工具的次数就越多，CPU 的消耗也越大。所以，模型越便宜，不等于整个系统越便宜。

对普通开发者和小团队意味着什么

我自己做几个小网站，也在用 agent 写代码。读完这篇，我给自己记了三条：

第一，别默认算力永远便宜、永远随手可得。过去临时起一批便宜的 spot 机器跑任务是常规操作，按文中的描述，这条路已经不像以前那么好走了。

第二，算 agent 的成本时，把工具执行也算进去。一个任务跑了多少次编译和测试，可能比用了多少 token 更值得关注。

第三，能省的执行就省掉。让 agent 少做无用的全量测试、少反复搜索，既是省钱，也是在给自己的流程减负。

写在最后

GPU、内存、CPU，三轮短缺一路传导，背后其实是同一件事：AI 在从"说"走向"做"。"想"的部分在变便宜，"做"的部分却实打实要消耗机器。

这期 The Pulse 里也提到了一串芯片和存储厂商的名字，那些只是在说明供应链是怎么一环一环被拉紧的，我这里不展开，也不构成任何投资看法。我更关心的是：当 agent 成为日常工具，我们算账的方式，是不是也该跟着变一变。

来源：

• The Pragmatic Engineer · The Pulse：「a new trend of CPU shortages」（2026-09-24，Gergely Orosz）。文中数字转述自 turbopuffer CEO Simon Eskildsen 访谈、Anthropic Claude Platform 平台工程负责人 Katelyn Lesse 的文章，以及 Uber 内部 agent 请求增长图；一手原文未核。