OpenAI 的第一颗推理芯片 Jalapeño:从 Broadcom 合作到 10GW 部署,工程师视角的几个工程事实

一、起因:一个 428 分的 HN 顶帖

6 月 24 日,OpenAI 联合 Broadcom 公开了代号 Jalapeño 的第一颗自研推理芯片,这条新闻在 Hacker News 上冲到 428 分 / 279 条评论 / 53 条子评论(HN 48663324),是当日 AI 基础设施类话题里的第一热度。我做后端十几年,这种"软硬一体"的拐点每次出现都意味着上层应用的部署形态要变,于是把 OpenAI 官方公告、TechCrunch、Decrypt、CNN 四篇报道交叉读了一遍,加上 HN 上 20 条长评论按内容长度排序后逐条对照,记录下一些工程层面的事实和我自己的判断。

本文不站队(我不会写"OpenAI 终于要革 Nvidia 的命"这种话,也不写"这跟 Nvidia 比还差得远"那种),只把我从材料里读到的几个具体数字、几个被反复提到的工程取舍、和几个目前还没完全验证的问题整理出来,供同样在做后端/基础设施的同行参考。

二、几个绕不开的事实(全部有源)

事实 数字 / 表述 来源
芯片代号 Jalapeño(青辣椒) OpenAI 官方公告 / TechCrunch
合作方 Broadcom 共同设计与制造 OpenAI 公告 / CNN
定位 专门做 LLM 推理,不做训练 OpenAI 公告:"designed specifically for modern large language models instead of being a 'general-purpose' chip"
已有内部测试 已用 GPT-5.3-Codex-Spark 跑 Decrypt 第 5 段
性能宣称 "performance per watt substantially better than current state-of-the-art" OpenAI 公告原文
部署时间 "begin deployment in data centers later this year" Decrypt 第 7 段
合作总规模 10 gigawatts 算力(去年与 Broadcom 公布的总盘子) CNN 第 5 段
长期合作 gigawatt-scale AI 基础设施,与 Microsoft 及其他伙伴 OpenAI / Broadcom 联合声明
Pre-training 仍依赖 Nvidia(OpenAI 自己也说"more performance-intensive tasks like pre-training will still rely on Nvidia hardware") TechCrunch 第 9 段

Greg Brockman 原话:"We have a deep understanding of the workload. We've really been looking for specific workloads that are underserved, [and asking] how can we build something that will be able to accelerate what's possible?"

Hock Tan(Broadcom CEO)原话:"Our collaboration with OpenAI represents a fundamental commitment to scaling the physical infrastructure required for the next decade of AI. By co-developing our industry-leading silicon directly with OpenAI, we are enabling the deployment of gigawatt-scale data centers with Microsoft and other partners beginning in 2026."

注意一点:OpenAI 这次没有给任何 benchmark 数字。所谓"substantially better than current state-of-the-art"是一个性能/瓦数的方向性表述,不是 SPECint 那种可对比数字。这一点对工程师很重要——它意味着我们今天没法用 Jalapeño 去计算"每百万 token 推理成本能降多少",所有"降本 X%"的推文都是二次推测。

三、为什么是 Broadcom,而不是台积电 / Marvell

HN 上 @zgao 的一条长评论(1021 字符,被点赞同的位置靠前)把这件事讲得很清楚:

The typical way a chip effort in a non-chip company works is that the "design" is the RTL (e.g. SystemVerilog that defines the behavior of the chip) and then this is handed off to a third-party "design house" (such as Broadcom) that turns that code into a real image of a chip...

意思就是:OpenAI 这类没有芯片量产经验的公司,通常的流程是自己写 RTL(SystemVerilog 描述芯片行为),然后交给有量产经验的设计服务公司做物理实现、流片、量产。Barecom 在这个位置上不是"OpenAI 选了 Broadcom",而是"OpenAI 选了 Broadcom 这个角色"——RTL 是 OpenAI 的(因为他们对自家推理工作负载理解最深),物理实现是 Broadcom 的(因为他们有产线和 IP 库)。

HN 上 @aurareturn 进一步指出:

Broadcom already has a ton of IP for AI SoCs. I'm guessing the hard parts of this inference chip was already designed by Broadcom and OpenAI simply told Broadcom what it wanted. It's likely very similar to Google's TPU.

这个判断跟我对 Google TPU 的了解一致——TPU 的物理实现部分也大量依赖 Broadcom 的 SerDes / 网络 / 互连 IP。所以"OpenAI 自研芯片"这个说法在工程上要拆成两半:行为设计(OpenAI) + 物理实现(Broadcom),类似一个 "joint design" 而非 "OpenAI 单干"。这一点博客园上做底层的朋友应该能感觉到:RTL 写出来容易,流片成功、量产良率稳定、互连带宽上去,才是真正的工程地狱。

四、跟 Google TPU / Amazon Trainium / Microsoft Maia 的对比(我能确认的部分)

OpenAI 不是第一家做自研推理芯片的大厂。对照公开信息:

  • Google TPU:已经迭代到 v6 / v7,既训也推,自家全套工具链(XLA / Pathways)。Jalapeño 只做推理,范围更窄。
  • Amazon Trainium2 / Inferentia2:Trainium 主训,Inferentia 主推,AWS 自家云服务里跑。Jalapeño 不上公有云,只为 OpenAI 内部用。
  • Microsoft Maia 100:2023 年公布,2024 年开始在 Azure 内部跑,定位同样是微软自家工作负载的加速。

Jalapeño 的差异化在哪里?从材料里能读到的两点:

  1. 专门为 LLM 推理的特定工作负载优化——不是通用 ML 加速器,也不是为了训练设计。TechCrunch 第 9 段明确说"more performance-intensive tasks like pre-training will still rely on Nvidia hardware",训练侧不动。
  2. OpenAI 的 workload 数据是独有的——ChatGPT / Codex / Operator / 后续 agentic 产品的真实 prompt 分布,只有 OpenAI 自己有。这部分训练数据 → RTL 行为映射的过程,是其他家复制不了的。

五、Jalapeño 跟 Nvidia 是什么关系:不是替代,是分流

HN 上 @Imustaskforhelp(1862 字符,前 5 长)提出一个很清晰的工程角度:

Although this seems to be for inference itself only and not training but inference is a recurring cost and training is a one time cost and so to me, even if Nvidia still gets moat on training, I don't think that it could ever justify its massive evaluations because for example, some chinese model...

我理解他的意思(虽然后半段被截断了):Nvidia 的高估值在很大程度上建立在"训练侧不可替代"这个前提上,但推理是 recurring cost,训练是 one-time cost。如果推理侧出现一个足够好的替代者,即便训练侧 Nvidia 仍然垄断,长期看 Nvidia 的 unit economics 也会被压。

这个角度对工程团队的实操意义在于:做 LLM 应用选硬件时,未来 18-24 个月里"推理成本曲线"的斜率会发生明显变化。今天我们算 token 单价还要看 H100 / H200 / B200,以后可能要加一行"Jalapeño-class"作为对照。

但要注意:CN 上 @Culonavirus 提出了反向观点:

Con or not it is an obvious thing they have to do. Might as well promise. IIRC their biggest cost they're "hiding" in their financials by doing creative accounting is inference (putting it into marketing and whatnot, in the billions)... if they can't hide it in their S-1 then this is their story for the IPO.

意思是:OpenAI 当前估值(传闻的 1 万亿美元)压力下,Jalapeño 这条新闻可能更多是给资本市场讲的故事,而不是真实的成本下降路径。这里我没法验证——OpenAI 还没上市,S-1 没公开,真实推理成本结构是商业秘密。

六、Taalas / "weights in ROM" 这条更激进的路径

HN 上还有一个被反复提起的对比:Taalas 这家公司把 LLM 权重直接烧进 ROM 里做专用芯片(17k tokens/sec 的 demo,2024-2025 出现过的数字)。@londons_explore / @nickpinkston / @ipdashc 三个人的评论都在这个点上:

I wanna see an inference chip where the weights are part of the rom of the chip. There would be 1 multiplier per weight...the total pipelined system throughput would be one token per clock cycle. (londons_explore, 827 字符)

What's everyone think of Taalas? They're actually burning the LLM model into the silicon, with some onboard memory for fine-tuning. They claim huge cost / latency wins. (nickpinkston, 792 字符)

17k tps taalas chip. It seems almost common-sense that we're going to end up there eventually. (ipdashc, 943 字符)

这条路径比 Jalapeño 更激进——Jalapeño 仍然是"通用推理加速器"(可以跑各种 LLM),Taalas 是"为某个具体模型定制的硬连线芯片"。@cmrdporcupine(729 字符)进一步指出:

I think the model they chose is out of date and hard to sell, but there are plenty of use cases where today's dumb small models are fine. A Qwen 3.5/3.6 or Gemma 3 model on silicon at those speeds would be genuinely world changing even if it's only 1-3B params.

意思是 Taalas 的商业模式(烧进某个版本的模型)有"模型一更新就过时"的风险,但1-3B 参数的小模型烧进硅片这种用法,对很多 1-3 人小公司的后端是个有想象空间的方向——可以期待未来出现"Qwen-3-1B 烤进 FPGA"或者"专门跑分类任务的硬连线芯片"这种产品形态。

我个人没在工程上验证过 Taalas 的 17k tok/s 实测数据,所以这个数字我现在只能说"原帖作者说的",后续如果有机会跑一下他们的 demo 我会单独写一篇。

七、给后端 / 基础设施工程师的几条直接判断

把上面这些材料落到我们后端日常的视角,几条直接判断:

  1. Jalapeño 不上公有云,短期不会改变 token 单价。OpenAI API 的成本结构变化要等 Jalapeño 实际在 OpenAI 内部承担足够比例的推理流量(目前是 early test,2026 下半年到 2027 才可能规模化)。短期内我们写代码不用考虑"Jalapeño-class 硬件"。

  2. agentic 产品(Codex / Operator / Slack integration)对推理芯片的算力结构有新要求。Jalapeño 公告里专门提到"low operating cost when running real-time coding models",意思是实时编码 agent 这种长 context、低延迟、循环调用的场景,是 Jalapeño 优先优化的目标。如果你在做 agent 后端,未来 12 个月的硬件平台选型可能要重新评估,长 context(128K+)下的延迟曲线会变。

  3. 如果用 OpenAI API 做生产,做 capacity planning 时建议把"推理成本年降 30-50%"作为参考线。这是 Google TPU 部署到内部规模化后我们观察到的曲线,即便 Jalapeño 没有官方 benchmark,从工程经验看推理侧的 unit cost 在 12-24 个月里大幅下降是大概率事件。

  4. 不要把 OpenAI 自研芯片跟"OpenAI 摆脱 Nvidia"画等号。Jalapeño 只做推理,训练侧继续用 Nvidia(OpenAI 自己说的),Nvidia 在 OpenAI 体系里仍然是 CUDA 训练生态的不可替代部分。

  5. 国产 LLM + 国产推理芯片的同步布局会加速。HN 上 @Imustaskforhelp 提到"some chinese model"被截断但语境很清楚:中国的模型厂商(DeepSeek / Qwen / 智谱 / 月之暗面)在过去 6 个月里已经把推理成本压到极低,如果再叠上国产推理芯片(华为昇腾 / 寒武纪 / 燧原)的成熟度,2026-2027 这一波"软硬一体"的代差会缩窄。这是 OpenAI 选 Jalapeño 路径的另一个隐含动机——不做就会被甩开。

八、目前还没完全搞清楚的几个点(局限与待验证项)

按 skill 的"教学模式"要求,把目前材料里还没法验证的明确列出来,不是含糊带过:

  • 真实 performance per watt 数字——OpenAI 公告里只有"substantially better than state-of-the-art"这种方向性表述,没有具体 perf/W 数字,没有 SPEC-like 基准,没有 H100 / B200 对照表,这块完全没公开(待验证)
  • 量产规模与时间表——"begin deployment in data centers later this year"是今年下半年开始,具体先部署在哪些 region、初始承担多少比例的推理流量、是否仅 Codex-Spark 优先,全部未公开(待验证)
  • RTL 与物理实现的边界——OpenAI 写 RTL 到什么程度、Broadcom 在 SerDes / 互连 / 存储控制器上贡献多少,两家在公告里没有具体说,外部只能从 Broadcom 现有 IP 库反推(还在调研)
  • Jalapeño 的功耗 / 散热形态——10 GW 这个数字是跟 Microsoft + 其他伙伴的 gigawatt-scale AI 基础设施的合作总盘子,不是单颗 Jalapeño 的功耗。从公告字面读不出单颗功耗、单卡 HBM 容量、互连拓扑(是否 NVLink-like)等参数(待验证)
  • 对训练侧的间接影响——OpenAI 说"pre-training will still rely on Nvidia hardware",但若推理成本大幅下降,训练侧的 funding / 算力分配会怎么变,会不会影响 OpenAI 后续 frontier model 的训练规模,这是产业经济学问题,没有公开数据(不足)
  • 第三方能否复制类似路径——如果一家非顶级 LLM 公司想走"自研推理芯片 + Broadcom 设计服务"路径,RTL 人才 / Broadcom 排期 / 量产良率三个门槛里,RTL 人才是最大的瓶颈(全球能写高质量 inference accelerator RTL 的人估计 < 5000),这条不构成对一般公司的可复制路径(不足)
  • 是否影响 OpenAI 跟 Microsoft 的算力供应关系——Microsoft 是 OpenAI 最大的算力供应商 + 投资人,Jalapeño 上线后 OpenAI 对 Azure 的依赖度会下降,但具体下降多少、是否会触发 Microsoft 投资协议里的 control 条款,公开材料里没有(坑点)

九、参考链接

  1. OpenAI 官方公告(Jalapeño × Broadcom 介绍) — https://openai.com/index/openai-broadcom-jalapeno-inference-chip/
  2. TechCrunch 报道(目前最完整的中立分析) — https://techcrunch.com/2026/06/24/openai-unveils-its-first-custom-chip-built-by-broadcom/
  3. Decrypt 报道(GPT-5.3-Codex-Spark 测试细节) — https://decrypt.co/371971/openai-broadcom-jalapeno-first-custom-ai-chip
  4. CNN 报道(IPO 压力 / 10 GW / Nvidia 关系) — https://www.cnn.com/2026/06/24/tech/openai-broadcom-jalapeno-ai-chip
  5. Hacker News 顶帖(428p / 279c,长评论按 text 长度排序) — https://news.ycombinator.com/item?id=48663324
  6. 参考前文博客园文章:Anthropic 监管 / Identity Verification / Claude Code Extended Thinking 几条线,可对照"模型自研 → 基础设施自研 → 监管落地"这条主线的演进
posted @ 2026-06-25 07:07  Ninghg  阅读(333)  评论(0)    收藏  举报