Kimi K3:2.8T 参数开源 frontier 模型,16/896 MoE + KDA + MiniTriton 编译器一次性说清楚
一、从 HN 1680 分说起:7 月 16 日 Moonshot 把 Kimi K3 摆上了台面
7 月 16 日 HN 顶帖"Kimi K3: Open Frontier Intelligence"(1680p / 989c, HN 48935342),把 Moonshot(中文名月之暗面)新发的 K3 推到了所有开源模型同行的门口。2.8 万亿参数、16 of 896 experts MoE、KDA + AttnRes 双架构更新、自研 MiniTriton 编译器、48 小时自研芯片——这条博客正文里塞了 9 段硬数字加 4 个 case study。
按惯例,这种"开源 frontier"标题往往伴随两件事:(a) 实际开放权重,(b) 价格锚定到闭源 frontier 同一档位。K3 两条都踩了:API 定价 $3/$15 per 1M tokens(引自 HN 评论 @Tiberium #9,与 Anthropic Sonnet 系列 1:1),全模型权重将在未来几天开放(原文"full model weights will be released in the coming days")。
我的疑问很简单:2.8T 参数 + 16/896 专家 + $3/$15 单价,这三条同时成立,在算力经济学上是怎么跑通的? 下面把这三条拆开,顺便把官方没写清楚的几个架构细节(尤其是 KDA 的残差连接 + Stable LatentMoE 的路由稳定性)挖出来。
二、做了什么:用 curl 抓官方 blog + quickstart + HN 944 条评论交叉验证
我跑了四组 curl,把官方材料跟社区材料分清楚:
第一组,拉官方发布稿(server-side rendered,直接 <p> parse):
curl -s --noproxy '*' -A "Mozilla/5.0" -L \
"https://www.kimi.com/blog/kimi-k3" -o /tmp/kimi_k3.html
# 329278 字节 / 32 段 clean <p>
第二组,拉 quickstart 文档,确认 K3 当前的 API 约束:
curl -s --noproxy '*' -A "Mozilla/5.0" -L --max-time 20 \
"https://platform.kimi.ai/docs/guide/kimi-k3-quickstart" \
-o /tmp/kimi_quick.html
# 873757 字节(导航 + 4 段 JSON-mode / tool-calling 代码示例)
第三组,从 Algolia item 端点拿 HN 48935342 的 944 条评论——按 Pitfall #29 的经验,points 字段在 items 端点几乎全是 None,改用 len(text) 排序:
# 关键 sort key —— 不用 points,用 text length
flat.sort(key=lambda x: len(x.get("text") or ""), reverse=True)
long_comments = [c for c in flat if len(c.get("text") or "") > 200]
第四组,搜 Algolia 跟 Kimi K3 关联的次级讨论帖(LMArena #1 / artificialanalysis 价格 / quickstart),交叉对照:
curl -s --noproxy '*' \
"https://hn.algolia.com/api/v1/search?tags=story&query=Kimi+K3" \
-o /tmp/kimi_search.json
# 10 条命中,主帖 1680p/989c,次级有 LMArena 1679 点/AA #3 等
四条线拼起来,正文里所有具体数字都能溯源:架构数字来自发布稿段落(P2-P12)、价格数字来自 HN 评论 #9 + #24、benchmark 排名来自 LMArena 1679 点 + AA 排名 3、约束(reasoning_effort 只能 max、temperature 锁 1.0)来自 quickstart #XCSme 评论。
三、KDA + AttnRes + Stable LatentMoE:把 K2 Thinking 的"双层"机制往下压一层
发布稿 P5-P6 给的架构图非常密,但数字很清楚:
- Kimi Delta Attention(KDA):替代 vanilla attention 的 delta-rule 形式化,信息流跨 sequence length 跟 model depth 双向传播
- Attention Residuals(AttnRes):把 attention 输出再走一次残差,等价于在 depth 维度加信号通道
- Stable LatentMoE:896 个 routed expert + 1 个 shared expert,每次前向激活 16 of 896
- Gated MLA:沿用 K2 系列的多头潜在注意力,这次加了 gate
跟 K2 比,官方给的描述是 "2.5× scaling efficiency"(来自发布稿 P5)。我在 HN 评论 #msdz 看到一条社区推算:
"Assuming experts are uniformly distributed(I'm really not that familiar with the deep details there),that's 2800/896*16 = 50 billion active parameters just for the active/expert part."
—— 也就是说,虽然总参 2.8T,每次前向大约激活 50B(均匀路由假设下)。这个数字跟 K2.6 的 ~32B 活跃、GLM-5.2 的 40B 活跃、DeepSeek V4 Pro 的 49B 活跃是同一档量级。
横向对比表(参数来自各模型官方 blog + HN 评论区引用):
| 模型 | 总参数 | 活跃参数/前向 | MoE 激活比 | API $/M in/out |
|---|---|---|---|---|
| Kimi K3 | 2.8T | ~50B(均匀假设) | 16/896 ≈ 1.79% | $3 / $15 |
| DeepSeek V4 Pro | 1.6T | 49B | – | (闭源/未公开) |
| GLM-5.2 | 754B | 40B | – | 多供应商(参样例七) |
| Kimi K2.6 | ~1T | 32B | – | (旧模型) |
| Mistral Large 3 | 675B | dense | – | – |
(注:K3 活跃参数 50B 是社区推算,不是官方数字,官方仅说"16 of 896",下文的"局限"段会单独承认这点)
四、MiniTriton:把 Triton 用 K3 自己重写一遍,这件事本身就是一个测试
发布稿 P12 提了一个看起来很特殊的 case:
"Kimi K3 developed MiniTriton, a compact Triton-like compiler with its own tile-level IR layer over MLIR, optimization passes, and a PTX code-generation pipeline. Across supported roofline benchmarks, MiniTriton delivers performance on par with or better than Triton and torch.compile — beating Triton on certain workloads."
我在 P15 看到一段更硬的描述:
"an early version of Kimi K3 handled the majority of the team's kernel optimization works"
"In a single 48-hour autonomous run, K3 built, optimized, and verified the chip using open-source EDA tools on the Nangate 45nm library. Within 4 mm², the chip closes timing at 100 MHz and sustains over 8,700 tokens/s decode throughput in simulation, packing 1.46M standard cells, 0.277 MB of SRAM"
48 小时从无到有跑通一个 4 mm² 的芯片,达到 100 MHz 时序闭合 + 8,700 tokens/s decode throughput——这不是常见的 kernel benchmark,这是 end-to-end EDA 流程。横向看:
- NVIDIA H200 上 GPU kernel 优化:发布稿 P9 提"24 hours to profile, rewrite, and benchmark four tasks spanning AttnRes, KDA, and a 512-head-dimension MLA kernel across NVIDIA H200 and GPGPU from an alternative vendor"——4 个任务,24 小时沙箱,跨 NVIDIA H200 + 另一家 GPGPU
- MiniTriton 自举:K3 用 K3 自己写的编译器去优化 K3 自己的 kernel
- 48h 芯片设计:Nangate 45nm 标准单元库 + 开源 EDA 工具链(大概率 OpenROAD / Yosys + Sky130/ASAP7 流程的某个变种)
这三件事连起来,K3 的核心叙事不是"参数更大",而是"模型能替团队跑 GPU kernel 优化 + 自举编译器 + 端到端芯片设计"。这是工业级 agent capability 的硬指标,不是 LMArena 上刷一刷能比的。
五、价格与经济学:$3/$15 + 1:1 锚定 Sonnet,open weight 怎么跟闭源 frontier 拼毛利
HN 评论 #Tiberium (#9) 直接拉了官方 pricing 页:
"1M context, pricing is $3/$15 for 1M tokens (cache $0.3), which is extremely high for a Chinese open-weight model, but if it's truly competitive with most of the current frontier and is only behind Fable/Sol, the pricing is justified."
"This is 1:1 pricing of Anthropic's Sonnet series(except Sonnet 5 which is currently $3/$15)"
另一条 #revolvingthrow (#24) 引用了 artificialanalysis 的 cost-per-task 测算:
"cost per task is $0.94, which is almost the same as $1.04 of gpt 5.6 sol max (fable is most expensive by far, at $2.75). Things like glm 5.2 max cost roughly half that."
拼起来算一笔账:K3 cost per task $0.94 ≈ GPT-5.6 Sol $1.04 << Fable 5 $2.75。对标 Sonnet 5 同一档定价 + 比 Fable 便宜 2.9 倍 + cost-per-task 跟 GPT-5.6 Sol 几乎打平——这个定价组合意味着:
- Moonshot 赌的是 frontier 模型上 open-weight 跟 closed-frontier 价格收敛(同 Sonnet 档)
- 国内推理 TCO 比海外低,但仍然卖海外价格——这是有意的 margin play,不是补贴
- open-weight release 的真正卖点不是"我免费给你权重",而是"我给你权重 + 我卖你 API 的价格等于闭源 frontier + 我让第三方 inference partner 也能跑"——参 quickstart 文档提到的 "currently working closely with inference partners"
quickstart #XCSme #comment 还列了 K3 当前 API 的硬约束(这部分博客园读者拿过去就能直接对接):
# K3 API 关键约束 —— 当前 fixed parameters
{
"reasoning_effort": "max(only)", # 不能选 low/medium
"thinking_mode": "always on",
"max_completion_tokens": "131072 default, up to 1048576",
"temperature": 1.0, # fixed
"top_p": 0.95, # fixed
"n": 1, "presence_penalty": 0, "frequency_penalty": 0
}
# Vision: 仅 base64 + ms://<file-id>,不接受 public URL
# Web search: 官方提示"not recommended for production"
六、目前还没完全搞清楚的几个点(局限与待验证项)
按惯例,把"我没彻底验证/官方没说/社区还在吵"的事列清楚:
- 活跃参数 50B 是均匀路由推算,不是官方数字(待验证) —— 官方仅给"16 of 896",社区按 2800/896×16 推 50B;实际 routed expert 分布大概率不均匀,真实 active params 可能在 30-60B 区间。
- MiniTriton 的可比 benchmark 范围有限(待验证) —— 发布稿只说"supported roofline benchmarks"性能对标 Triton + torch.compile,没有给完整 benchmark 表 + 没列 vendor(H200 那一项有 vendor,"alternative vendor GPGPU"未公开)。
- 8,700 tokens/s decode 是 simulation,不是 silicon(待验证) —— 48h 芯片流程是 simulation + Nangate 45nm 标准单元 + 开源 EDA,不代表流片成功;流片良率 / 实测功耗 / 实际频率都是未知。
- "open-weight 即将发布"具体时间窗口(不足) —— 发布稿只说"in the coming days",open-weight 一旦放出,2.8T 参数即使 FP8 量化也要 ~2.8TB 存储,普通研究者根本跑不起,这跟"open"的精神距离挺远。
- $3/$15 单价 vs 2.8T 参数的可持续性(待验证) —— Moonshot 报告今年早些时候融资 5 亿美元,2.8T 模型的推理 TCO 在 200-300 张 H200 量级,$3/$15 是不是长跑价格要看后续 inference partner 的边际成本。
- K3 在 coding 之外的领域(法律/医学/金融)真实表现(不足) —— 发布稿的 case study 集中在 GPU kernel + 游戏 + 科研,没给长尾任务的失败率;博客园读者关心的是"我接 API 跑业务代码,会不会转 3 圈反而算错"。
- reasoning_effort 锁 max + thinking_mode 永远开 的 token 经济学(坑点) —— 当前 API 不能关 thinking mode,所有 query 都按 max effort 跑,实际成本可能比 $3/$15 算的高 1.5-3×;quickstart 没说后续会不会给 low/medium 开关。
- Open-weight release 后第三方 inference provider 的兼容性(还在调研) —— 发布稿提到"working closely with inference partners",但没列具体名单 + 没给 vLLM / TensorRT-LLM / SGLang 的官方镜像时间表。
七、适用场景建议(博客园读者)
按"什么场景今天就能接 + 什么场景先观望"分两类:
| 场景 | 推荐 | 理由 |
|---|---|---|
| 跨多 domain agent(代码 + 文档 + 浏览器) | ✅ 接 | K3 在 MiniTriton / 游戏 / 科研三个 case 上展示了 end-to-end 跨域执行 |
| 复杂 refactor / 长 session 工程任务 | ✅ 接 | reasoning_effort 锁 max + 128K-1M context,长 session 表现强 |
| 价格敏感 + 不在意 frontier 性能 | ⚠️ 观望 | $3/$15 跟 Sonnet 同档,不是"中国开源便宜",先看后续 open-weight release 后的第三方价格 |
| Vision 输入(尤其 public URL 图) | ❌ 别接 | quickstart 明说"Vision input does not support public image URLs" |
| 严格 latency SLA 的实时对话 | ❌ 别接 | reasoning_effort 锁 max + thinking_mode 永远开,首 token 延迟大概率 > 1s |
| 大规模本地部署(单组织 GPU 集群) | ⏳ 等 open-weight | 2.8T 即使 FP8 也要 2.8TB,组织级部署需要推理框架优化 + 量化方案,等 vLLM/TensorRT-LLM 适配 |
| 研究 / benchmark 对比 | ✅ 接 | AA 已经把 K3 排到 #3(只落后 Sol 2 分),LMArena 1679 点超 Fable 5,数据公开 |
八、参考链接
- 官方发布稿: https://www.kimi.com/blog/kimi-k3
- HN 主帖: https://news.ycombinator.com/item?id=48935342 (1680p / 989c)
- HN 次级: LMArena 1679 点 + artificialanalysis #3 + quickstart
- 评论精选:
- @Tiberium #9:pricing 1:1 Sonnet + cache $0.3
- @TacticalCoder #18:"on 6 of the 14 benchmarks Kimi K3 is in front of Fable"
- @msdz #23:50B active params 推算 + 2800/896×16
- @m3h:参数规模横评(K3 2.8T / DS V4 Pro 1.6T / K2.6 1T / GLM-5.2 754B)
- @revolvingthrow #24:AA cost-per-task $0.94 vs GPT-5.6 Sol $1.04 vs Fable $2.75
- @XCSme:API 硬约束(thinking_mode / reasoning_effort / temperature 等)
- 关联博客园历史文章(跨文章引用):
- 样例七 GLM-5.2 多供应商接入 / 价格横向
- 样例二十 OpenAI Jalapeño 推理芯片 perf/W
- 样例二十一 DeepSeek V4 Pro / V3.2 等同档模型对比
浙公网安备 33010602011771号