白得 2 到 3 倍加速的投机采样机制解析：草稿模型和目标模型是怎么配合的

LLM 解码很慢，因为生成一个 token 需要每次都从 GPU 内存中加载全部模型权重。700 亿参数的模型意味着 140GB 权重，每一个 token 都要重新加载一遍。

LLM 解码本质上是顺序的，称之为自回归生成（autoregressive generation）。每个 token 都依赖前面所有的 token，采样一个、喂回模型、再采样下一个，如此循环。

没有 token 4 就生成不了 token 5，只能一个一个来，所以每次都要加载那 140GB 权重。

那么如果设想有一个小而便宜的模型，能飞快猜出接下来几个 token；大模型再一次性验证这些猜测。猜对了，就用一个 token 的代价拿到了 1 到 k 个 token；猜错了，就回退继续。

这就是投机采样（speculative decoding）。它完全无损而且在数学上站得住脚。

 

https://avoid.overfit.cn/post/163e4c3986794a51ba9c983c4f2f561e