现已开源！Alaya-DSpark 将GLM-5.2生成速度提升2.9倍

Alaya-DSpark 模型上线，将 GLM-5.2生成速度提升2.9x ，现已开源至Hugging Face，欢迎大家下载体验。

大模型生成内容的速度，不只取决于模型本身的计算能力，也受到解码方式的影响。

目前大语言模型普遍采用自回归解码（Autoregressive Decoding）：模型根据已有上下文预测下一个 token，再把这个 token 加入上下文，继续预测下一个。

这种方式的问题在于：即使 GPU 擅长并行计算，模型生成文本时仍然需要连续执行多轮推理。输出越长，需要执行的解码轮数就越多。

针对这一问题，AlayaNeW 九章智算云基于 DeepSeek 提出的 DSpark 方法，为 GLM-5.2 专门训练并开源了推测解码模型 Alaya-DSpark。也就是增加一个计算量更小的“草稿”模型，先预测后续多个 token，再交给主模型一次性验证。

Alaya-DSpark 正是 GLM-5.2 的配套“草稿”模型。

它不会替代 GLM-5.2，也不会修改 GLM-5.2 的模型权重。最终哪些 token 可以保留，仍然由 GLM-5.2 决定。

在我们的测试中：

  • GLM-5.2 原生自回归推理：约 121 tok/s
  • GLM-5.2 + Alaya-DSpark：约 352 tok/s

整体实现约 2.9× 的生成速度提升。

模型现已开源：

目前可与 GLM-5.2和FLM-5.2-FP8 在 SGLang 和 vLLM 中直接配对。

01 Alaya-DSpark 如何加速 GLM-5.2

普通自回归解码中，模型生成多个 token，需要连续执行多轮主模型推理。

引入 Alaya-DSpark 后，流程发生了变化：

1.Alaya-DSpark 根据当前上下文，一次预测后续多个候选 token；
2.GLM-5.2 对这些候选进行并行验证；
3.连续符合 GLM-5.2 预测结果的 token 被直接接受；
4.出现不一致时，由 GLM-5.2 生成正确 token，并开始下一轮预测。

Image

图 1 · DSpark 单轮推测解码流程

“草稿”模型提前生成多个候选 token，GLM-5.2 一次完成验证，并接受连续正确的候选结果。

因此，草稿预测越准确，一轮能够接受的 token 越多，主模型需要执行的解码轮数就越少。

这一能力通常通过 接受长度（Accepted Length） 衡量，即主模型每轮平均能够接受多少个草稿 token。

DSpark 在这一过程中主要进行了三方面优化：

第一，并行生成草稿。

“草稿”模型一次预测多个位置，而不是重新进行完整的逐 token 自回归生成，从而控制草稿生成本身的计算开销。

第二，提高连续候选的一致性。

推测解码要求主模型接受的是一段连续正确的前缀，因此仅仅提高某一个位置的预测准确率还不够。DSpark 会进一步增强不同预测位置之间的一致性，提高整段候选被连续接受的概率。

第三，动态控制验证长度。

并不是每一轮都需要把所有草稿 token 送给 GLM-5.2 验证。

DSpark 会结合候选 token 的预测置信度和当前系统负载，决定这一轮实际提交多少个 token。对于置信度较低、很可能被拒绝的尾部候选，可以提前截断，减少无效验证计算。

最终目标只有一个：

让 GLM-5.2 每执行一次前向计算，能够确定更多输出 token。

02 为什么要专门为 GLM-5.2 训练

理论上，推测解码可以为主模型配置一个更小的“草稿”模型。

但实际效果很大程度上取决于“草稿”模型和主模型是否足够匹配。

这是因为“草稿”模型预测出的 token 只有符合 GLM-5.2 自身的预测结果，才能被接受。

即使另一个模型生成的内容在语义上完全合理，只要它与 GLM-5.2 在词汇选择、表达方式或者推理路径上存在差异，这些候选 token 仍然可能被拒绝。

因此，“草稿”模型不是简单地“找一个更小的模型”即可。

尤其在中文、RAG、长文档和代码等复杂场景中，如果“草稿”模型与主模型的输出分布不一致，接受率会明显下降，推测解码带来的加速也会随之减弱。

基于这一点，Alaya-DSpark 围绕 GLM-5.2 进行了专门训练。

第一，对齐 GLM-5.2 的输出方式。

训练数据中的回答由 GLM-5.2 生成或重写，让“草稿”模型学习 GLM-5.2 自身的输出模式，从而提高候选结果被主模型接受的概率。

第二，增加真实生产场景数据。

训练数据覆盖 Coding、数学推理、中文问答、RAG、摘要、写作、多语言以及长上下文等任务。

其中进一步增加了中文、检索问答以及长文本任务的比例，希望解决通用“草稿”模型在这些场景下接受率下降的问题。

第三，与主模型独立部署。

Alaya-DSpark 是独立的“草稿”模型，并不会修改 GLM-5.2 本身的参数。

同一套权重可以配合 GLM-5.2 BF16 / FP8 使用，同时支持 SGLang 与 vLLM。

这意味着主模型和“草稿”模型可以独立维护：GLM-5.2 的推理服务保持不变，Alaya-DSpark 可以持续进行训练和优化。

03 基于 Alaya NeW 完成训练与优化

Alaya-DSpark 的训练主要分为两个环节：

首先生成训练所需的目标缓存数据，再基于这些缓存进行多轮模型训练和参数优化。

这里的目标缓存，可以理解为提前保存 GLM-5.2 为训练提供的目标信息。

之所以采用这种方式，是因为“草稿”模型训练和参数调优过程中，需要反复使用 GLM-5.2 的输出结果。

如果每进行一次实验，都重新运行 GLM-5.2 生成训练目标，会产生大量重复的 GPU 计算。

因此，我们首先完成目标数据生成，将其保存至 Alaya NeW 大容量存储中。之后，无论调整模型结构、训练参数还是超参数，都可以直接复用已有缓存。

这样既减少了重复运行 GLM-5.2 带来的计算成本，也提高了多轮实验和参数搜索效率。

整个训练任务运行在 Alaya NeW 弹性容器集群 VKS 上。

VKS 负责多机多卡 GPU 资源的统一调度和训练环境管理；训练数据、目标缓存以及模型 Checkpoint 则由平台存储服务承载。

计算与存储解耦后，即使某一轮 GPU 训练任务结束，已经生成的缓存和模型数据仍然可以保留，在下一轮实验中继续使用。

针对多个训练任务同时运行的情况，平台还提供任务队列、优先级和资源配额管理能力，对 GPU 资源进行统一调度，减少资源争抢和闲置。

基于这套环境，Alaya-DSpark 完成了从目标缓存生成、“草稿”模型训练，到参数优化和模型验证的完整训练过程。

04 评测结果：更高，更稳定

为了验证 Alaya-DSpark 的实际效果，我们在统一评测环境中，将其与社区公开的 Red-DSpark 进行了对比。

评测主要关注两个指标：

接受长度和逐位置接受率。

前者回答的是“一轮平均能接受多少个 token”，后者则进一步观察“草稿中第 1 个、第 2 个、第 3 个……token 分别有多大概率被接受”。

接受长度：11 类任务整体领先

Image

图 2 · Alaya-DSpark 与 Red-DSpark 接受长度对比。

左图覆盖 11 类任务，右图比较不同上下文长度下的表现。

在代码、数学、推理、写作、问答、角色扮演、多语言、RAG 等 11 类任务中，Alaya-DSpark 的平均接受长度均高于对比方案。

其中，多语言和 RAG 场景的差距较为明显：

  • 多语言：Alaya-DSpark 4.43，Red-DSpark 2.63
  • RAG：Alaya-DSpark 4.87，Red-DSpark 4.33

更明显的差异出现在长上下文任务中。

Alaya-DSpark 在 1k 到 32k 上下文范围内，接受长度基本保持在 4.5–4.8。

相比之下，Red-DSpark 随着上下文增加明显下降：

  • 8k 上下文：约 1.95
  • 32k 上下文：约 1.16

这意味着对于长文档问答、长代码以及多轮会话等任务，Alaya-DSpark 仍然能够让 GLM-5.2 一轮接受多个草稿 token，而对比方案的推测解码收益会随着上下文增长明显降低。

逐位置接受率：长上下文下差距进一步扩大

Image

图 3 · Alaya-DSpark 与 Red-DSpark 逐位置接受率对比。

“逐位置接受率”可以进一步解释为什么接受长度会出现差距。

由于推测解码接受的是连续正确的前缀，因此草稿前几个位置是否准确非常关键。

如果第一个 token 就没有被主模型接受，即使后面的预测碰巧正确，也无法形成较长的连续接受结果。

在 11 类任务的综合测试中：

  • Alaya-DSpark 第一位置接受率：76.0%
  • Red-DSpark：68.2%

在多语言任务中，这一差距扩大到：

  • Alaya-DSpark：约 82%
  • Red-DSpark：约 53%

长上下文下的差异更加明显。

Alaya-DSpark 在 1k、8k、32k 条件下的接受率曲线基本稳定，第一个草稿位置仍保持在 83% 以上。

而 Red-DSpark 在上下文达到 8k 后接受率开始明显下降，在 32k 条件下第一位置接受率约为 8%。

这说明 Alaya-DSpark 的优势不仅是某几个任务上的平均指标更高，更重要的是在上下文增长之后，草稿预测能力仍然能够保持稳定。

最终，这些指标体现在实际生成速度上：

  • GLM-5.2 原生自回归：约 121 tok/s
  • GLM-5.2 + Alaya-DSpark：约 352 tok/s

整体实现约 2.9× 推理加速。　ㅤ

05 模型使用

Alaya-DSpark 已发布至 Hugging Face。

使用支持 DSpark 的最新版本 SGLang 或 vLLM，即可直接与 GLM-5.2 配合部署。

SGLang

export SGLANG_ENABLE_SPEC_V2=1

sglang serve \
  --model-path zai-org/GLM-5.2-FP8 \
  --trust-remote-code \
  --tp-size 8 \
  --reasoning-parser glm45 \
  --tool-call-parser glm47 \
  --speculative-algorithm DSPARK \
  --speculative-draft-model-path AlayaNeW/GLM-5.2-DSpark \
  --speculative-dspark-block-size 8

vLLM

vllm serve zai-org/GLM-5.2-FP8 \
  --trust-remote-code \
  --tensor-parallel-size 8 \
  --reasoning-parser glm45 \
  --tool-call-parser glm47 \
  --speculative-config '{
    "method": "dspark",
    "model": "AlayaNeW/GLM-5.2-DSpark",
    "num_speculative_tokens": 8,
    "draft_sample_method": "probabilistic"
  }'

部署后，对外仍可以使用标准 OpenAI Chat Completions 接口，应用侧无需修改原有调用协议。

需要注意的是，Alaya-DSpark 是针对 GLM-5.2 专门训练的“草稿”模型。如果更换主模型，需要重新训练与对应主模型匹配的“草稿”模型。　ㅤ

06 总结

Alaya-DSpark 解决的是 GLM-5.2 推理过程中的解码效率问题。

它通过一个与 GLM-5.2 专门对齐的“草稿”模型，提前预测后续多个 token，再由 GLM-5.2 并行验证，从而减少完成同等长度输出所需要的主模型解码轮数。

测试结果显示，Alaya-DSpark 不仅在 11 类任务上取得了更高的接受长度，在 1k–32k 长上下文中也保持了相对稳定的接受率，最终将 GLM-5.2 的生成速度从约 121 tok/s 提升至 352 tok/s，实现约 2.9× 加速。

整个过程中，不修改 GLM-5.2 模型权重，最终输出仍由 GLM-5.2 决定。

Alaya-DSpark 现已正式开源：

https://huggingface.co/AlayaNeW/GLM-5.2-DSpark

如需引用：

@misc{alayanew2026glm52dspark,
  title={GLM-5.2-DSpark},
  author={AlayaNeW},
  year={2026},
  howpublished={\url{https://huggingface.co/AlayaNeW/GLM-5.2-DSpark}}
}

　ㅤ

posted @ 2026-09-07 13:50  九章智算云  阅读(20)  评论(0)    收藏  举报