投机解码:草稿模型加速生成的完整推导与实现

自回归解码是逐 token 串行的:一次前向出一个词,GPU 的并行能力完全用不上。投机解码是当前部署侧最优雅的加速方案——它不改动目标模型的任何权重、保证输出分布与目标模型完全一致,却能把解码速度提高两到三倍。这篇文章把它的正确性证明、实现细节与失败模式一次讲清。

一、核心机制:草稿+验收

设目标模型 M(贵、准)与草稿模型 m(便宜、略弱)。解码每一步分三段:先让 m 自回归地连续猜出 k 个 token;再把这 k 个 token 一次性喂给 M 做一次前向(这正是并行性收益的来源——M 只花一步算 k 个位置);最后逐位置验收:接受或拒绝草稿的每个 token,被拒绝的位置由 M 自己重采样并截断草稿。

@torch.no_grad()
def speculative_decode(M, m, prompt, max_tokens, k=4, gamma=0.5):
    ids = list(prompt)
    while len(ids) < max_tokens:
        # 1) 草稿: 便宜模型连猜 k 个
        draft = []
        draft_kv = None
        x = torch.tensor([ids[-1]], device="cuda").unsqueeze(0)
        for _ in range(k):
            logits_d, draft_kv = m(x, kv_cache=draft_kv)
            t = torch.multinomial(logits_d[0, -1].softmax(-1), 1).item()
            draft.append(t)
            x = torch.tensor([t], device="cuda").unsqueeze(0)

        # 2) 目标模型一次前向, 得到这 k+1 个位置的完整分布
        xt = torch.tensor([ids[-1]] + draft, device="cuda").unsqueeze(0)
        logits_M, kv = M(xt, kv_cache=shared_kv)
        q = logits_M.softmax(-1)          # (k+1, vocab)

        # 3) 逐位置验收
        n_accept, new_tokens = 0, []
        p_prev = m_probs_cache            # 草稿在上一轮的概率, 见下文
        for i, t in enumerate(draft):
            p = m_probs[i]                # 草稿模型在位置 i 的分布
            r = torch.rand(1).item()
            if r < min(1.0, (q[i, t] / p[t]).item()):
                new_tokens.append(t)      # 接受
                n_accept += 1
            else:
                # 拒绝: 从残差分布重采样, 然后停止验收
                residual = (q[i] - p).clamp(min=0)
                residual /= residual.sum()
                t = torch.multinomial(residual, 1).item()
                new_tokens.append(t)
                break
        else:
            # 全部接受: 额外白拿 M 在最后位置的一个 token
            t = torch.multinomial(q[k], 1).item()
            new_tokens.append(t)

        ids.extend(new_tokens[: n_accept + 1])
    return ids

二、正确性:为什么输出分布严格不变

投机解码的精妙在验收规则不是"匹配就接受"的简单判断,而是接受-重采样的精巧构造。设草稿模型在位置 i 给出 token t 的概率为 p(t),目标模型为 q(t)。接受概率取 min(1, q(t)/p(t)):草稿认为可能、目标也认为可能(q≥p)的 token 一定接受;草稿高估的 token(q<p)按比例部分接受。关键在拒绝后的处理:不从 q 直接采样,而从残差分布 max(q−p, 0) 归一化后采样。可以证明,这两步合起来得到的输出恰好是 q 的精确采样:

P(output=t) = p(t)·min(1, q(t)/p(t)) + rejectprob · residual(t) = q(t)

推导要点:当 q(t) ≥ p(t) 时第一项直接给出 q(t),拒绝概率为零;当 q(t) < p(t) 时第一项给 q(t),而拒绝后的重采样填补剩余概率质量,两项相加仍严格等于 q(t)。所以无论草稿模型多差,输出永远同目标模型自己逐 token 采样在分布上一致——这是该方法与所有"近似加速"的本质区别,也是它能在医疗、法律等对分布保真有要求的场景使用的原因。实现上的一个易错点:草稿模型自身的分布 p 必须与草稿采样用同一份 logits 记录下来(代码中的 m_probs),验收时直接复用;很多错误实现重新跑一遍草稿模型,白白多花一次前向。

三、加速比与长度选择

每轮生成的 token 期望数 E[n] 决定加速比。记草稿单个 token 的平均接受率为 α,则一轮期望产出约 1 + α + α² + … + α^k 个 token(几何级数),而成本是 1 次 M 前向加 k 次 m 前向。加速比近似为:

speedup ≈ E[n] / (1 + k · c)     其中 c = cost(m) / cost(M)

两个直接的推论。其一,草稿模型越像目标模型,α 越高,收益越大——实践中草稿模型常用目标模型自己的缩小版(同架构、层数减半)或对目标模型做蒸馏得到,α 通常在 0.6–0.8;α 低于 0.4 时加速比趋近甚至低于 1(草稿白猜,还要付 k 次小前向的成本)。其二,k 不是越大越好:k 增大时级数的边际收益递减而草稿成本线性增长,最优 k 随 α 变化,α=0.7 时 k≈4 是常见甜点。自适应 k(连续接受率高则加长、低则缩短)是容易实现且有效的改进。

四、进阶变体与失败模式

两个值得实现的变体。自投机(self-speculative):不做两个模型,而是让目标模型自己跳过若干层当草稿(layer-skip 或提前退出),省掉第二份权重的显存,代价是验收率略降。树形草稿:草稿不是一条链而是一棵树(每个位置扩展多个候选),验收用树形掩码一次前向完成,接受路径更长,但注意力核要支持掩码树,工程复杂度上了一个台阶。

失败模式集中在三类场景。贪心解码下验收规则退化为 argmax 匹配,α 取决于两模型 argmax 的一致率,收益波动大;高度重复或模板化的文本 α 极高(收益好),而自由创作的发散文本 α 低(收益差);batch 内并发服务时,投机解码的额外前向会挤占正常请求的算力,它优化的是单请求延迟,不是服务吞吐——高并发下反而可能降低整体吞吐,调度器需要按负载动态开关。最后是显存:草稿模型的权重与 KV 缓存是纯增量成本,小目标模型不值得配草稿(加速上限太小),大模型配同族小模型才是这套方法的主场。

总结成一句可实现的经验:先测你的草稿模型在真实工作负载上的接受率 α,speedup ≈ E[n]/(1+kc) 这个比值会告诉你一切——α>0.6 就上,α<0.4 就省下这份工程,把力气花在批处理调度上。

posted @ 2026-11-13 14:34  汤姆百宝箱  阅读(8)  评论(0)    收藏  举报