6000 亿参数 Step 5 Preview 权重开源:vLLM 部署命令 + 4 卡 B300 起步配置
发布日期:2026-10-15
Step 5 Preview 是阶跃星辰(StepFun)于 2026 年 10 月 15 日开放权重的旗舰智能体模型,总参数约 6000 亿、激活 270 亿,上下文 100 万 token,Hugging Face 与魔搭社区提供约 650 GB 的 FP8 和约 1.2 TB 的 BF16 两版。协议为自有的 StepFun Model License 1.0,附署名与商业授权条件,并非 Apache-2.0。评测为厂商自报,八项全部领先 Kimi K3,但每项都不及至少一款闭源旗舰。
Step 5 Preview 开源了什么
Step 5 Preview 的权重在 2026 年 10 月 15 日同步出现在 Hugging Face 和魔搭社区,共两个检查点:
- FP8 版
stepfun-ai/Step-5-Preview:Hugging Face 仓库总存储约 650 GB,28 个 safetensors 分片 - BF16 版
stepfun-ai/Step-5-Preview-BF16:仓库总存储约 1.2 TB - 两个仓库在 Hugging Face 上都没有设置访问申请
- GitHub 上的
stepfun-ai/Step-5-Preview目前只有 README、中英文协议文件、贡献者名单和图片素材,不含权重
模型卡把它称为 StepFun 面向智能体工作的旗舰模型,重点是仓库级软件工程、前端与视觉开发、设备编程、长程智能体执行、专业知识工作和金融。
官方口径是"600B 总参数、27B 激活"。Hugging Face 的安全张量统计合计为 6043 亿,600B 是取整说法;FP8 仓库里约 5647 亿参数是 FP8,另有约 396 亿保持 BF16。
架构:窄而深的稀疏 MoE
Step 5 Preview 是 92 层的稀疏混合专家(MoE)模型,每个 token 从 352 个路由专家中选 8 个,外加 1 个共享专家。
- 层结构:92 层里 88 层是 MoE 层、4 层是稠密层;隐藏维度 4096,64 个注意力头、4 组 KV
- 注意力排布:每 4 层中 3 层是滑动窗口注意力(窗口 512 token),1 层是完整注意力,博客称这是沿用 Step 3.5 的 3:1 交替
- Sparse GQA:完整注意力层里 8 个 token 合成一个块,top-k 取 512 个块,也就是 4096 个 token
- 多 token 预测:配置里有 3 层 MTP,对应 vLLM 启动参数里的
--spec-method mtp --spec-tokens 3 - 视觉部分:47 层的视觉编码器,输入 728 像素、patch 14
博客对 Sparse GQA 的说法是:块大小取 8,索引器和 top-k 的开销降到原来的 1/8,token 覆盖率 78.06%,对照配置(逐 token、k=2048)为 79.09%。
博客把整体思路概括为"窄而深":92 层的深度和 Qwen 3.8 Max、Kimi K3 这类超大开源模型相当,总参数和激活参数却分别不到它们的 1/4 和 1/3。这是 StepFun 自己的说法。
技术博客披露了哪些训练细节
技术博客对训练稳定性和智能体强化学习的工程细节写得比较具体,但没有给出评测数字,也没有说明开源范围和协议。
- FP32 隐藏状态:隐藏状态及其梯度用 FP32,峰值降低近一个数量级,额外开销很小;博客承认背后的原因"仍不清楚"
- FP32 的归一化缩放参数:Zero-centered RMSNorm 的 γ 接近 -1 时,BF16 精度不足,通道会反复开关
- 细粒度梯度截断:每层只截断约 0.00004% 的梯度值
- 训推对齐:博客称 staleness 为 0 时训练与推理逐比特对齐,TP=1 训练与 TP=8 推理一致,额外开销低于 10%
- 数据与环境:用四个组件合成数据,提到"百万级、有难度且可验证的环境";上下文压缩与任务奖励一起端到端训练
- 强化学习系统的效率:博客称 MTP-3 约带来 30% 端到端加速,原生 FP8 MoE 再快约 20%,KV 缓存有效容量扩大 8 到 12 倍
许可证:不是 Apache-2.0,哪些情形要署名或另行授权
Step 5 Preview 使用 StepFun Model License 1.0,模型卡称它是"带额外署名和商业授权条件的 Apache-2.0 风格协议",Hugging Face 的许可证标签是 other,GitHub 的许可证字段显示 NOASSERTION。
基本授权是永久、全球、非独占、免费、免版税,可使用、复制、分发、再授权、修改并制作衍生作品,并附专利授权。以下几条是容易漏看的限制:
- 衍生作品范围很宽:微调、蒸馏、合并、量化、剪枝、继续预训练得到的模型都算;在相当程度上用该模型输出训练的模型,也视为衍生作品。只通过 API 调用模型的独立应用,不因此被视为衍生作品
- 再分发:附带协议、保留声明、标注修改,并提供模型卡或其链接
- 署名:只要在任一自然月内,被许可方或其关联方的商业产品活跃用户超过 1 亿,或收入超过 2000 万美元,就要在界面(含"关于"页)和用户协议或产品文档里标注"Powered by StepFun AI"
- 另行商业授权,情形一:手机、汽车、智能眼镜、可穿戴设备、机器人、智能家居等硬件厂商或品牌方,在首次把该能力作为设备功能出货之前
- 另行商业授权,情形二:被许可方或其关联方运营 MaaS 业务,且任意连续 12 个月合计收入超过 2000 万美元时,其任何商业使用
针对另行商业授权这一条,协议给了两类例外:不向第三方提供模型、衍生模型、输出或能力的内部使用,以及通过 StepFun 认证渠道、在认证范围内的使用。
协议对 MaaS 的定义是:向第三方提供推理或微调访问(含 API),且第三方对输入、参数或训练数据有实质控制权;嵌入某个具体的终端用户功能,或仅传递请求,不算 MaaS。
此外,使用者自行负责合规,协议不授予商标权;严重违约会使授权终止,收到书面通知后 30 天内纠正可恢复。
以上是对条款的转述,不是法律意见。协议有中英文两版,以英文版为准,具体适用问题可联系协议里列出的官方邮箱 license@stepfun.ai。
官方评测:和 Kimi K3、GLM-5.3 比
模型卡里的评测图表把 Step 5 Preview 与 Kimi K3、GLM-5.3 和两款闭源旗舰放在一起比较,八项里它全部领先 Kimi K3,但每项都不及至少一款闭源旗舰。
| 评测 | Step 5 Preview(High) | Kimi K3 | GLM-5.3 |
|---|---|---|---|
| DeepSWE v1.1 | 67.7 | 67.5 | 66.9 |
| StepCodeBench | 49.0 | 43.9 | 40.2 |
| ProgramBench | 80.5 | 77.8 | 72.0 |
| Terminal-Bench v4 | 33.3 | 12.6 | 41.9 |
| Agents' Last Exam(ALE-CLI) | 29.5 | 27.6 | 28.6 |
| GDPval-AA v2.1 | 1566 | 1524 | 1645 |
| FrontierFinance | 66.4 | 62.6 | 64.1 |
| DRACO | 83.3 | 78.5 | 82.3 |
读这张表时可以抓住三点:
- 对 Kimi K3:八项全部领先
- 对 GLM-5.3:六项领先,Terminal-Bench v4(33.3 对 41.9)和 GDPval-AA v2.1(1566 对 1645)落后
- 对两款闭源旗舰:DeepSWE、StepCodeBench、ProgramBench、Terminal-Bench v4 四项落后于两者,其余四项只超过其中一款,没有一项同时领先两者
引用这些数字前要注意:
- 来源是官方模型卡里的图表,属厂商自报,本文数字按图转录,以原图为准
- 图中 Step 5 Preview 用的是 High 推理设置,其余模型标注为 Max,两边设置不同
- GDPval-AA 的数据来自 Artificial Analysis,截至 2026-09-20;DeepSWE v1.1 使用 SWE-agent harness,temperature 1.0、top_p 0.95
你现在就能做到:自己部署,或直接调官方 API
FP8 权重约 650 GB,自部署的起步门槛是整节点 GPU;只想先试效果,直接调官方 API 门槛更低。
方案一:自己部署权重
模型卡给出的起步配置如下:
- vLLM + FP8:1 个 B300 节点(4 卡),或 1 个 H200 节点(8 卡)
- vLLM + BF16:1 个 B300 节点(8 卡),或 2 个 H200 节点(16 卡)
- SGLang + FP8:B300 4 卡(TP4/EP4),或 H200 8 卡(TP8/EP8)
- Transformers 离线推理:FP8 用 1 个 8 卡 H200 节点,BF16 用 2 个 8 卡 H200 节点,其中 BF16 的文件分片转换流程,模型卡注明尚未完整验证
模型卡同时提醒:实际显存、可用上下文和并发取决于检查点、框架和 KV 缓存分配;BF16 配置不保证放得下 100 万 token 的请求;给 FP8 检查点加 --dtype bfloat16 不会把权重转成 BF16,需要换用单独的 BF16 检查点。
第 1 步:拉取官方 vLLM 镜像,启动服务(4 卡 B300 的 TP4 写法)
docker pull vllm/vllm-openai:step-5-preview
docker run --rm -it --gpus all --ipc=host --network=host \
--volume "$HOME/.cache/huggingface:/root/.cache/huggingface" \
--entrypoint /bin/bash vllm/vllm-openai:step-5-preview
# 进入镜像的 shell 后执行
export CUDA_VISIBLE_DEVICES=0,1,2,3
vllm serve stepfun-ai/Step-5-Preview \
--host 0.0.0.0 --port 18000 --served-model-name "step5" \
--tensor-parallel-size 4 \
--data-parallel-backend mp --distributed-executor-backend mp \
--disable-custom-all-reduce \
--max-model-len 1048576 --max-num-batched-tokens 16384 --max-num-seqs 64 \
--gpu-memory-utilization 0.85 --enable-prefix-caching \
--spec-method mtp --spec-tokens 3 \
--reasoning-parser step5 --enable-auto-tool-choice --tool-call-parser step5
用 8 卡 H200 时,把 CUDA_VISIBLE_DEVICES 改成 0 到 7,--tensor-parallel-size 改成 8。要启用专家并行,再加 --enable-expert-parallel;B300 上还需要 --moe-backend deep_gemm_mega_moe,H200 不用这个参数。
第 2 步:发一条请求
curl http://127.0.0.1:18000/v1/chat/completions \
--header 'Content-Type: application/json' \
--data '{
"model": "step5",
"messages": [{"role": "user", "content": "Hello!"}],
"max_tokens": 4096,
"stream": true
}'
模型卡推荐的采样参数是 temperature=1.0、top_p=0.95、top_k=0。
第 3 步:显存不够或想换框架时
- 显存不够:先调小
--max-model-len或并发 - 换 SGLang:使用
lmsysorg/sglang:step-5-preview镜像,完整启动参数较多,见模型卡和其中链接的 SGLang Cookbook - 换 Transformers:脚本在
inference/目录,先用convert.py --check-only检查检查点,再转换并用torchrun调用generate.py;官方验证过的组合是 PyTorch 2.13.0、Transformers 5.15.0,且脚本直接加载本地tokenizer.json,因为官方说明 Transformers 5.15 自动选择分词器类与它不兼容,可能让长提示词出问题
方案二:调用官方 API
官方 API 是 OpenAI 兼容格式:
- 基础地址:
https://api.stepfun.ai/v1,对话接口为/chat/completions - 模型 ID:
step-5-preview - 密钥:在开放平台的 Interface Keys 页面创建,用
Authorization: Bearer头传入 - 推理强度:Chat Completions 用
reasoning_effort,Messages API 用output_config.effort,取值为 low、medium、high - 最大输出 64k token;支持流式输出、工具调用、JSON Mode 和 JSON Schema、提示词缓存
curl https://api.stepfun.ai/v1/chat/completions \
-H "Authorization: Bearer YOUR_STEP_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "step-5-preview",
"reasoning_effort": "low",
"messages": [{"role": "user", "content": "用三句话解释稀疏混合专家模型"}]
}'
官方定价页给出的 step-5-preview 价格是:输入未命中缓存 1 美元/百万 Token(已含写入缓存),命中缓存 0.1 美元/百万 Token,输出 2.7 美元/百万 Token,不分上下文长度档位,输出 token 包含推理过程和最终回答。
按这个价格,一次输入 10 万 token、输出 5000 token 且没有命中缓存的请求,约合 0.11 美元。
账号限流按累计充值分档:V0(累计充值低于 15 美元)并发 5、每分钟 100 次请求,最高档 V4 为并发 130、每分钟 2600 次请求。
几处需要留意的口径差异
官方几份资料之间有不一致的地方,引用时要注明出处:
- 最大输出:模型卡规格表写"最大输出可达 1M",官方 API 文档写 64k;模型卡的部署说明里,1M 是输入和输出合计的上限
- 输入类型:简介和官方文档都提到视频,模型卡规格表的输入只写了文本和图像
- 协议:模型卡称"Apache-2.0 风格",实际是带附加条件的自有协议,不能按标准 Apache-2.0 理解
- 技术博客:没有评测数字,也没有写开源范围和协议,这两项要看模型卡和协议文件
- 成熟度:项目仍标注 Preview,博客自己也说相关系统"仍在演进"
常见问题
Step 5 Preview 可以商用吗?
协议没有一般性地禁止商用,但有三类情形:商业产品活跃用户超过 1 亿或收入超过 2000 万美元,要署名"Powered by StepFun AI";硬件厂商把它做成设备功能,以及运营 MaaS 业务且任意连续 12 个月合计收入超过 2000 万美元的使用者,需另行取得商业授权。
本地部署 Step 5 Preview 需要多少显卡?
FP8 权重用 vLLM 部署,需要 1 个 4 卡 B300 节点或 1 个 8 卡 H200 节点;BF16 权重需要 1 个 8 卡 B300 节点或 2 个 8 卡 H200 节点,且不保证放得下 100 万 token 的请求。
Step 5 Preview 的 API 多少钱?
输入未命中缓存 1 美元/百万 Token,命中缓存 0.1 美元/百万 Token,输出 2.7 美元/百万 Token,来自官方定价页,实际以页面当前信息为准。
Step 5 Preview 能关闭推理吗?
官方文档列出的推理强度只有 low、medium、high 三档,没有给出关闭选项;输出 token 包含推理过程,会一并计费。
Step 5 Preview 能看图片和视频吗?
按官方文档,输入可以是文本、图像和视频:单次最多 60 张图片(JPG/JPEG、PNG、WebP、静态 GIF),视频支持 MP4、QuickTime、Matroska,用 URL 传入的单个 MP4 需小于 128 MB,建议 5 分钟以内。输出只有文本。
截至 2026 年 10 月 15 日,以上内容来自 StepFun 的模型卡、协议文件、技术博客、官方文档和定价页。项目仍标注 Preview,参数、价格和条款可能调整,以官方页面当前信息为准。
参考资料
- Hugging Face(FP8):https://huggingface.co/stepfun-ai/Step-5-Preview
- Hugging Face(BF16):https://huggingface.co/stepfun-ai/Step-5-Preview-BF16
- 魔搭社区:https://modelscope.cn/models/stepfun-ai/Step-5-Preview
- GitHub 仓库:https://github.com/stepfun-ai/Step-5-Preview
- 技术博客 Inside Step 5 Preview:https://platform.stepfun.ai/blog/inside-step-5-preview
七牛云 Token Plan(企业级AI Token套餐):积分按模型实际消耗扣减,未用完的积分不结转至下一周期;包年订阅在每日 18:00 至次日 08:00 的闲时时段调用部分 DeepSeek、GLM 模型可低至 1.2 折起,具体以官方页面当前信息为准:https://www.qiniu.com/ai/plan
浙公网安备 33010602011771号