6000 亿参数 Step 5 Preview 权重开源:vLLM 部署命令 + 4 卡 B300 起步配置

发布日期:2026-10-15

Step 5 Preview 是阶跃星辰(StepFun)于 2026 年 10 月 15 日开放权重的旗舰智能体模型,总参数约 6000 亿、激活 270 亿,上下文 100 万 token,Hugging Face 与魔搭社区提供约 650 GB 的 FP8 和约 1.2 TB 的 BF16 两版。协议为自有的 StepFun Model License 1.0,附署名与商业授权条件,并非 Apache-2.0。评测为厂商自报,八项全部领先 Kimi K3,但每项都不及至少一款闭源旗舰。


Step 5 Preview 开源了什么

Step 5 Preview 的权重在 2026 年 10 月 15 日同步出现在 Hugging Face 和魔搭社区,共两个检查点:

  • FP8 版 stepfun-ai/Step-5-Preview:Hugging Face 仓库总存储约 650 GB,28 个 safetensors 分片
  • BF16 版 stepfun-ai/Step-5-Preview-BF16:仓库总存储约 1.2 TB
  • 两个仓库在 Hugging Face 上都没有设置访问申请
  • GitHub 上的 stepfun-ai/Step-5-Preview 目前只有 README、中英文协议文件、贡献者名单和图片素材,不含权重

模型卡把它称为 StepFun 面向智能体工作的旗舰模型,重点是仓库级软件工程、前端与视觉开发、设备编程、长程智能体执行、专业知识工作和金融。

官方口径是"600B 总参数、27B 激活"。Hugging Face 的安全张量统计合计为 6043 亿,600B 是取整说法;FP8 仓库里约 5647 亿参数是 FP8,另有约 396 亿保持 BF16。

架构:窄而深的稀疏 MoE

Step 5 Preview 是 92 层的稀疏混合专家(MoE)模型,每个 token 从 352 个路由专家中选 8 个,外加 1 个共享专家。

  • 层结构:92 层里 88 层是 MoE 层、4 层是稠密层;隐藏维度 4096,64 个注意力头、4 组 KV
  • 注意力排布:每 4 层中 3 层是滑动窗口注意力(窗口 512 token),1 层是完整注意力,博客称这是沿用 Step 3.5 的 3:1 交替
  • Sparse GQA:完整注意力层里 8 个 token 合成一个块,top-k 取 512 个块,也就是 4096 个 token
  • 多 token 预测:配置里有 3 层 MTP,对应 vLLM 启动参数里的 --spec-method mtp --spec-tokens 3
  • 视觉部分:47 层的视觉编码器,输入 728 像素、patch 14

博客对 Sparse GQA 的说法是:块大小取 8,索引器和 top-k 的开销降到原来的 1/8,token 覆盖率 78.06%,对照配置(逐 token、k=2048)为 79.09%。

博客把整体思路概括为"窄而深":92 层的深度和 Qwen 3.8 Max、Kimi K3 这类超大开源模型相当,总参数和激活参数却分别不到它们的 1/4 和 1/3。这是 StepFun 自己的说法。

技术博客披露了哪些训练细节

技术博客对训练稳定性和智能体强化学习的工程细节写得比较具体,但没有给出评测数字,也没有说明开源范围和协议。

  • FP32 隐藏状态:隐藏状态及其梯度用 FP32,峰值降低近一个数量级,额外开销很小;博客承认背后的原因"仍不清楚"
  • FP32 的归一化缩放参数:Zero-centered RMSNorm 的 γ 接近 -1 时,BF16 精度不足,通道会反复开关
  • 细粒度梯度截断:每层只截断约 0.00004% 的梯度值
  • 训推对齐:博客称 staleness 为 0 时训练与推理逐比特对齐,TP=1 训练与 TP=8 推理一致,额外开销低于 10%
  • 数据与环境:用四个组件合成数据,提到"百万级、有难度且可验证的环境";上下文压缩与任务奖励一起端到端训练
  • 强化学习系统的效率:博客称 MTP-3 约带来 30% 端到端加速,原生 FP8 MoE 再快约 20%,KV 缓存有效容量扩大 8 到 12 倍

许可证:不是 Apache-2.0,哪些情形要署名或另行授权

Step 5 Preview 使用 StepFun Model License 1.0,模型卡称它是"带额外署名和商业授权条件的 Apache-2.0 风格协议",Hugging Face 的许可证标签是 other,GitHub 的许可证字段显示 NOASSERTION。

基本授权是永久、全球、非独占、免费、免版税,可使用、复制、分发、再授权、修改并制作衍生作品,并附专利授权。以下几条是容易漏看的限制:

  • 衍生作品范围很宽:微调、蒸馏、合并、量化、剪枝、继续预训练得到的模型都算;在相当程度上用该模型输出训练的模型,也视为衍生作品。只通过 API 调用模型的独立应用,不因此被视为衍生作品
  • 再分发:附带协议、保留声明、标注修改,并提供模型卡或其链接
  • 署名:只要在任一自然月内,被许可方或其关联方的商业产品活跃用户超过 1 亿,或收入超过 2000 万美元,就要在界面(含"关于"页)和用户协议或产品文档里标注"Powered by StepFun AI"
  • 另行商业授权,情形一:手机、汽车、智能眼镜、可穿戴设备、机器人、智能家居等硬件厂商或品牌方,在首次把该能力作为设备功能出货之前
  • 另行商业授权,情形二:被许可方或其关联方运营 MaaS 业务,且任意连续 12 个月合计收入超过 2000 万美元时,其任何商业使用

针对另行商业授权这一条,协议给了两类例外:不向第三方提供模型、衍生模型、输出或能力的内部使用,以及通过 StepFun 认证渠道、在认证范围内的使用。

协议对 MaaS 的定义是:向第三方提供推理或微调访问(含 API),且第三方对输入、参数或训练数据有实质控制权;嵌入某个具体的终端用户功能,或仅传递请求,不算 MaaS。

此外,使用者自行负责合规,协议不授予商标权;严重违约会使授权终止,收到书面通知后 30 天内纠正可恢复。

以上是对条款的转述,不是法律意见。协议有中英文两版,以英文版为准,具体适用问题可联系协议里列出的官方邮箱 license@stepfun.ai。

官方评测:和 Kimi K3、GLM-5.3 比

模型卡里的评测图表把 Step 5 Preview 与 Kimi K3、GLM-5.3 和两款闭源旗舰放在一起比较,八项里它全部领先 Kimi K3,但每项都不及至少一款闭源旗舰。

评测 Step 5 Preview(High) Kimi K3 GLM-5.3
DeepSWE v1.1 67.7 67.5 66.9
StepCodeBench 49.0 43.9 40.2
ProgramBench 80.5 77.8 72.0
Terminal-Bench v4 33.3 12.6 41.9
Agents' Last Exam(ALE-CLI) 29.5 27.6 28.6
GDPval-AA v2.1 1566 1524 1645
FrontierFinance 66.4 62.6 64.1
DRACO 83.3 78.5 82.3

读这张表时可以抓住三点:

  • 对 Kimi K3:八项全部领先
  • 对 GLM-5.3:六项领先,Terminal-Bench v4(33.3 对 41.9)和 GDPval-AA v2.1(1566 对 1645)落后
  • 对两款闭源旗舰:DeepSWE、StepCodeBench、ProgramBench、Terminal-Bench v4 四项落后于两者,其余四项只超过其中一款,没有一项同时领先两者

引用这些数字前要注意:

  • 来源是官方模型卡里的图表,属厂商自报,本文数字按图转录,以原图为准
  • 图中 Step 5 Preview 用的是 High 推理设置,其余模型标注为 Max,两边设置不同
  • GDPval-AA 的数据来自 Artificial Analysis,截至 2026-09-20;DeepSWE v1.1 使用 SWE-agent harness,temperature 1.0、top_p 0.95

你现在就能做到:自己部署,或直接调官方 API

FP8 权重约 650 GB,自部署的起步门槛是整节点 GPU;只想先试效果,直接调官方 API 门槛更低。

方案一:自己部署权重

模型卡给出的起步配置如下:

  • vLLM + FP8:1 个 B300 节点(4 卡),或 1 个 H200 节点(8 卡)
  • vLLM + BF16:1 个 B300 节点(8 卡),或 2 个 H200 节点(16 卡)
  • SGLang + FP8:B300 4 卡(TP4/EP4),或 H200 8 卡(TP8/EP8)
  • Transformers 离线推理:FP8 用 1 个 8 卡 H200 节点,BF16 用 2 个 8 卡 H200 节点,其中 BF16 的文件分片转换流程,模型卡注明尚未完整验证

模型卡同时提醒:实际显存、可用上下文和并发取决于检查点、框架和 KV 缓存分配;BF16 配置不保证放得下 100 万 token 的请求;给 FP8 检查点加 --dtype bfloat16 不会把权重转成 BF16,需要换用单独的 BF16 检查点。

第 1 步:拉取官方 vLLM 镜像,启动服务(4 卡 B300 的 TP4 写法)

docker pull vllm/vllm-openai:step-5-preview
docker run --rm -it --gpus all --ipc=host --network=host \
    --volume "$HOME/.cache/huggingface:/root/.cache/huggingface" \
    --entrypoint /bin/bash vllm/vllm-openai:step-5-preview

# 进入镜像的 shell 后执行
export CUDA_VISIBLE_DEVICES=0,1,2,3
vllm serve stepfun-ai/Step-5-Preview \
    --host 0.0.0.0 --port 18000 --served-model-name "step5" \
    --tensor-parallel-size 4 \
    --data-parallel-backend mp --distributed-executor-backend mp \
    --disable-custom-all-reduce \
    --max-model-len 1048576 --max-num-batched-tokens 16384 --max-num-seqs 64 \
    --gpu-memory-utilization 0.85 --enable-prefix-caching \
    --spec-method mtp --spec-tokens 3 \
    --reasoning-parser step5 --enable-auto-tool-choice --tool-call-parser step5

用 8 卡 H200 时,把 CUDA_VISIBLE_DEVICES 改成 0 到 7,--tensor-parallel-size 改成 8。要启用专家并行,再加 --enable-expert-parallel;B300 上还需要 --moe-backend deep_gemm_mega_moe,H200 不用这个参数。

第 2 步:发一条请求

curl http://127.0.0.1:18000/v1/chat/completions \
    --header 'Content-Type: application/json' \
    --data '{
      "model": "step5",
      "messages": [{"role": "user", "content": "Hello!"}],
      "max_tokens": 4096,
      "stream": true
    }'

模型卡推荐的采样参数是 temperature=1.0、top_p=0.95、top_k=0。

第 3 步:显存不够或想换框架时

  • 显存不够:先调小 --max-model-len 或并发
  • 换 SGLang:使用 lmsysorg/sglang:step-5-preview 镜像,完整启动参数较多,见模型卡和其中链接的 SGLang Cookbook
  • 换 Transformers:脚本在 inference/ 目录,先用 convert.py --check-only 检查检查点,再转换并用 torchrun 调用 generate.py;官方验证过的组合是 PyTorch 2.13.0、Transformers 5.15.0,且脚本直接加载本地 tokenizer.json,因为官方说明 Transformers 5.15 自动选择分词器类与它不兼容,可能让长提示词出问题

方案二:调用官方 API

官方 API 是 OpenAI 兼容格式:

  • 基础地址:https://api.stepfun.ai/v1,对话接口为 /chat/completions
  • 模型 ID:step-5-preview
  • 密钥:在开放平台的 Interface Keys 页面创建,用 Authorization: Bearer 头传入
  • 推理强度:Chat Completions 用 reasoning_effort,Messages API 用 output_config.effort,取值为 low、medium、high
  • 最大输出 64k token;支持流式输出、工具调用、JSON Mode 和 JSON Schema、提示词缓存
curl https://api.stepfun.ai/v1/chat/completions \
  -H "Authorization: Bearer YOUR_STEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "step-5-preview",
    "reasoning_effort": "low",
    "messages": [{"role": "user", "content": "用三句话解释稀疏混合专家模型"}]
  }'

官方定价页给出的 step-5-preview 价格是:输入未命中缓存 1 美元/百万 Token(已含写入缓存),命中缓存 0.1 美元/百万 Token,输出 2.7 美元/百万 Token,不分上下文长度档位,输出 token 包含推理过程和最终回答。

按这个价格,一次输入 10 万 token、输出 5000 token 且没有命中缓存的请求,约合 0.11 美元。

账号限流按累计充值分档:V0(累计充值低于 15 美元)并发 5、每分钟 100 次请求,最高档 V4 为并发 130、每分钟 2600 次请求。

几处需要留意的口径差异

官方几份资料之间有不一致的地方,引用时要注明出处:

  • 最大输出:模型卡规格表写"最大输出可达 1M",官方 API 文档写 64k;模型卡的部署说明里,1M 是输入和输出合计的上限
  • 输入类型:简介和官方文档都提到视频,模型卡规格表的输入只写了文本和图像
  • 协议:模型卡称"Apache-2.0 风格",实际是带附加条件的自有协议,不能按标准 Apache-2.0 理解
  • 技术博客:没有评测数字,也没有写开源范围和协议,这两项要看模型卡和协议文件
  • 成熟度:项目仍标注 Preview,博客自己也说相关系统"仍在演进"

常见问题

Step 5 Preview 可以商用吗?

协议没有一般性地禁止商用,但有三类情形:商业产品活跃用户超过 1 亿或收入超过 2000 万美元,要署名"Powered by StepFun AI";硬件厂商把它做成设备功能,以及运营 MaaS 业务且任意连续 12 个月合计收入超过 2000 万美元的使用者,需另行取得商业授权。

本地部署 Step 5 Preview 需要多少显卡?

FP8 权重用 vLLM 部署,需要 1 个 4 卡 B300 节点或 1 个 8 卡 H200 节点;BF16 权重需要 1 个 8 卡 B300 节点或 2 个 8 卡 H200 节点,且不保证放得下 100 万 token 的请求。

Step 5 Preview 的 API 多少钱?

输入未命中缓存 1 美元/百万 Token,命中缓存 0.1 美元/百万 Token,输出 2.7 美元/百万 Token,来自官方定价页,实际以页面当前信息为准。

Step 5 Preview 能关闭推理吗?

官方文档列出的推理强度只有 low、medium、high 三档,没有给出关闭选项;输出 token 包含推理过程,会一并计费。

Step 5 Preview 能看图片和视频吗?

按官方文档,输入可以是文本、图像和视频:单次最多 60 张图片(JPG/JPEG、PNG、WebP、静态 GIF),视频支持 MP4、QuickTime、Matroska,用 URL 传入的单个 MP4 需小于 128 MB,建议 5 分钟以内。输出只有文本。

截至 2026 年 10 月 15 日,以上内容来自 StepFun 的模型卡、协议文件、技术博客、官方文档和定价页。项目仍标注 Preview,参数、价格和条款可能调整,以官方页面当前信息为准。

参考资料

七牛云 Token Plan(企业级AI Token套餐):积分按模型实际消耗扣减,未用完的积分不结转至下一周期;包年订阅在每日 18:00 至次日 08:00 的闲时时段调用部分 DeepSeek、GLM 模型可低至 1.2 折起,具体以官方页面当前信息为准:https://www.qiniu.com/ai/plan

posted @ 2026-10-15 15:30  vibecoding患者  阅读(131)  评论(0)    收藏  举报