AIGC标识 15 小时，AI 推理栈被拆成三层送人了

2026 年 10 月 20 日 16:54（北京时间），DeepSeek 在公众号推送了 DeepInfer 的开源公告。 7 小时后（10-21 00:00），Google 与 Meta 把 TorchTPU 挂上 PyTorch 官方博客。 又过 8 小时（10-21 08:00），蚂蚁集团和 vLLM 社区放出量化内核库 Humming。 15 小时 6 分钟，推理栈的骨架、肌肉和地基，被三家分别拆开送了出来。

先说结论

  • 这不是三条独立新闻，是同一条产业链的三层：引擎（DeepInfer）→ 内核（Humming）→ 硬件后端（TorchTPU）。任何一次模型推理，都要穿过这三层。
  • 三家其实在回答同一个问题：模型已经够强了，怎么让同一张卡吐出更多 token。区别只在计量单位——DeepSeek 报「每 GPU 小时收入」，Humming 报「同卡吞吐提升百分比」，TorchTPU 报「每百万 token 成本」。
  • 国产化的分界线正在从「模型权重」下移到「引擎 + 内核 + 后端」。证据很具体：DeepInfer 同时支持 NVIDIA SM100 和华为昇腾 950；Humming 同时支持 NVIDIA 全代际和平头哥镇岳 810E。
  • 但三件事都有硬边界，别当成免费的午餐：DeepInfer 只覆盖离线推理、只跑 V4.1-Flash；Humming 的加速比全部相对特定基线；TorchTPU 的 .to("tpu") 能让代码跑起来，不等于能跑出峰值。

一、三件事，各是什么

 项目出品方一句话
引擎层 DeepInfer DeepSeek 支撑其线上真实服务的推理框架首次公开，Apache 2.0，并把运营数据一起放了出来
内核层 Humming 蚂蚁集团 + vLLM 社区 通用量化推理内核库，用统一表示 + JIT 编译把「低位存储」换成真实吞吐
后端层 TorchTPU Google + Meta PyTorch 原生 TPU 后端，目标是把 .to("cuda") 改成 .to("tpu") 就能跑

三件事的发布时间咬得很紧，但彼此没有联合声明，是各自独立发的。把它们放一起看才有意思。

二、为什么正好是三层

一次推理请求从进来出去，要穿过三道关卡：

┌──────────────────────────────────────────────────────┐
│  引擎层   DeepInfer                                   │
│  把几千个算子排成一条不堵车的流水线                    │
│  批调度 / 并行策略 / 投机解码 / KV 管理 / 结构化输出    │
├──────────────────────────────────────────────────────┤
│  内核层   Humming                                     │
│  让一次矩阵乘在这块芯片上跑到接近理论峰值              │
│  量化格式 / 反量化 / 缩放 / Tensor Core 指令选择       │
├──────────────────────────────────────────────────────┤
│  后端层   TorchTPU                                    │
│  让 PyTorch 认这块芯片，把算子翻译成硬件能执行的程序   │
│  算子分发 / 图编译 / 集合通信 / 精度策略 / 编译缓存    │
└──────────────────────────────────────────────────────┘

后端层决定「能不能跑」。PyTorch 默认只认 CUDA，想跑在 TPU 上，过去只有 PyTorch/XLA 那条 Lazy Tensor 路，要侵入式改写代码、编译延迟大、不支持 eager。TorchTPU 换了个做法：把它注册成 PyTorch dispatcher 的 PrivateUse1 后端，eager 执行是首要目标，不是补丁式兼容。

内核层决定「跑得快不快」。模型量化到 4 位，省下的是显存和带宽，但要变成延迟下降，中间得有一次高质量的反量化和矩阵乘。Humming 干的就是这件事——它的对手名单很直白：vLLM Marlin、FlashInfer、DeepGEMM。

引擎层决定「跑得多不多」。单卡快不代表整体吞吐高。批怎么组、KV cache 怎么放、prefill 和 decode 怎么排、专家怎么均衡，这些决定了一张卡在一天里到底服务了多少 token。DeepInfer 就是 DeepSeek 把这些系统层经验打包公开。

一层缺一层，收益就漏一层。这也是为什么单独看任何一条新闻都不够——Humming 提升 40% 吞吐，前提是引擎愿意切到它的后端；TorchTPU 能跑 vLLM，前提是引擎有 TPU 版分支。

三、三个数字，量的其实是同一件事

三篇原文里各有一个最有信息量的数字，单位不同，指向同一件事：单位 token 的成本。

项目关键数字这个数字的真实含义
DeepInfer 单集群 155 万亿 token/天，每 GPU 小时 38 美元（谷价） DeepSeek 自己披露的线上运营账本，不是 benchmark
Humming 8×H20、TP=8 跑 V4.1-Flash，端到端吞吐 +14%~43%，TTFT −25%~32% 换一个 MoE 后端带来的服务级收益，不是单算子微基准
TorchTPU InferenceX 8K/1K 每百万 token 2.01 美分（9 月首秀为 3.6 美分） SemiAnalysis 第三方基准下的 TPU 单位成本，两个月降 44%

第二个数字（38 美元）需要注意归因：这是 DeepSeek 自己公布的，但「82% 毛利率」不是。那是 Yuchen Jin 在转发时按「B300 按 7 美元/GPU 小时租用」这个假设算出来的，他本人也明确说了 DeepSeek 没披露用的什么卡。引用时别把估算当成官方口径。

四、横向对比

维度DeepInferHummingTorchTPU
层次 推理引擎（骨架） 量化内核库（肌肉） 框架后端（地基）
许可 Apache 2.0 原文未提及 原文未提及
仓库 deepseek-ai/DeepInfer vllm-project/humming PyTorch 官方博客指向的 GitHub 仓库
硬件覆盖 NVIDIA SM100、华为昇腾 950 NVIDIA Turing（SM75）起全代际、平头哥镇岳 810E TPU v5e 起已验证，v7 有完整数据
与 vLLM 关系 基于 vLLM 构建，借鉴 SGLang / TensorRT-LLM 已深度集成，vLLM 0.29.0 起作为依赖内置 有独立分支 vLLM-TorchTPU
成熟度自述 离线推理，仅支持 V4.1-Flash，不含完整服务栈 已用于生产，未来加 autotune 已在 Google Cloud 部分大客户生产使用
最该记住的数字 155 万亿 token/天 编译时间 23.35s → 1.82s 4,917 个 HF 模型验证，98% 无崩溃

五、国产化这条线，比想象中更实在

如果只看模型榜单，国产化的叙事是「分数追上来了」。这三件事提供了一个更硬的观察角度：栈的国产化。

三个独立证据：

  1. DeepInfer 双平台同源。同一套框架同时支持 NVIDIA SM100 和华为昇腾 950，构建依赖分别是 CUDA 13 和 CANN 9.2。这不是「先做 CUDA 再移植」，是发布即双平台。
  2. Humming 把兼容写进了架构。它的统一量化表示把「权重格式 / 缩放粒度 / 缩放数据类型 / 零点 / 二级缩放」拆成独立参数，天然适配不同来源的 checkpoint。这套抽象也让它能扩到平头哥镇岳 810E 这类 CUDA 兼容设备，下一步是镇武 M890。
  3. TorchTPU 是另一条路线，不是国产化，但说明一件事：CUDA 的护城河正在被从编译器层绕开。Google 和 Meta 联手做这件事，动机不需要猜。

一个务实的判断：如果你的团队在做自建推理，接下来的选型问题不再是「用哪家的模型」，而是「用哪套引擎 + 哪个内核 + 哪块卡」。这三层现在都有开源选项了，组合空间突然变大。

六、三个容易踩的误读

误读一：DeepInfer 是完整服务栈。 不是。它聚焦离线推理，不含 KV cache 系统、不含 prefill/decode 分离、不含多副本负载均衡。这恰好是「能跑」和「能对外提供服务」之间最难的那一段。DeepSeek 公开的是骨架，不是整栋楼。

误读二：Humming 的倍数可以直接横向比。 不能。它给的加速比全部相对特定基线，而且基线各不相同——W4A16 是 cuBLAS，W8A8 是 DeepGEMM Contiguous，W4A8 也是 DeepGEMM W8A8。同一张图内部的数字可比，跨图不可比。

误读三：TorchTPU 改个 device 字符串就有峰值性能。 原文自己泼了冷水：.to("tpu") 只能保证跑得起来，达不到峰值，因为模型的形状、分片和算子可能偏向 GPU 架构。真要吃满 MXU，得靠 Pallas 自定义内核 + topology-aware mesh。

七、如果你只有十分钟

按角色选一条读：

  • 做推理部署的：先看 Humming。它是三件里唯一能立刻 pip install 用上的，vLLM 0.29.0 起已经内置。
  • 做成本核算的：先看 DeepInfer 的 155 万亿 token / 38 美元。这是目前公开资料里少见的、来自一线厂商的真实运营数字。
  • 做多云/异构的：先看 TorchTPU。它代表的是「不被单一加速器锁死」这条路走到了哪一步。
  • 只是想知道趋势的：记住一句话就行——这一轮竞争的主战场，从「谁的模型更强」挪到了「谁能让同一张卡更便宜地吐出 token」。

数据来源

内容来源时间（北京时间）
DeepInfer 开源公告（一手） 公众号：DeepSeek 2026-10-20 16:54
DeepInfer 技术报告细节 邵猛（X，引知乎技术报告） 2026-10-21 10:57
155 万亿 token / 38 美元 / 82% 估算 Yuchen Jin（X） 2026-10-21 01:05
DeepInfer Apache 2.0 与动机分析 The Decoder：AI News 2026-10-21 02:56
Humming 官方发布 vLLM 官方博客（Ant Group and the vLLM Community） 2026-10-21 08:00
TorchTPU 官方发布 PyTorch：Blog（The TorchTPU Team） 2026-10-21 00:00

以上均经 AIHOT（aihot.news）条目页与事件时间线汇总，原文可回溯至各条「阅读」链接。

免责声明

  • 本文所有事实、数字与引述均取自上述公开来源，未做二次推算（唯一的换算是原文自带的口径）。
  • 「82% 毛利率」为第三方按假设租赁价估算，非 DeepSeek 官方数据，已在上文单独标注。
  • Humming 与 TorchTPU 的开源许可证，原文未明确提及，本文不做推测。
  • 各项目的性能数字均来自其官方博客或官方引用的第三方基准，未经本文独立复现；不同硬件、不同基线之间不可直接横向比较。
  • 本文不构成任何采购、部署或投资建议。

posted on 2026-10-21 14:37  fox_charon  阅读(17)  评论(0)    收藏  举报

导航