深度解读 📅 2026-11-07 ✍️ MagicNetWorld 编辑部

草稿先行、并行验证:投机解码为什么能把大模型解码提速两倍多,而不改变目标模型的输出分布

大模型逐 token 解码慢,根子是每生成一个 token 都要把全部权重从显存搬一遍。投机解码让一个小草稿模型先猜若干步、大模型一次并行打分,用拒绝采样保证输出分布不变——这是分布意义上的严格等价,单次采样结果并不承诺与某一次基线运行逐字相同(贪心解码是例外)。本文从带宽账推导它为什么快,给出期望接受 token 数与加速比的闭式公式,并自算一组加速曲线(演示参数 α=0.7、β=0.05 下最优 γ 约为 5–6、加速约 2.35 倍;γ=7 时约 2.3 倍);对照口径:Chen 等在 Chinchilla 70B 分布式部署下报告 2–2.5 倍解码加速。带宽墙示例为本文按公开规格自算(70B bf16、batch=1、权重流量主导,在 4.8 TB/s 带宽下约 29 ms/步、约 34 token/s 理论上界),非实测。

推理加速采样算法LLM

草稿先行、并行验证:投机解码为什么能把大模型解码提速两倍多,而不改变目标模型的输出分布

2022 年 11 月到 2023 年 2 月,Google 与 DeepMind 的两个团队先后发表了同一思路的论文:让一个远小于目标模型的小模型先把 token”草拟”出来,再让大模型一次性并行验证这些草稿,验证通过的部分直接采纳。这就是投机解码(speculative decoding)。前者在 T5-XXL 上相对标准 T5X 实现实测 2–3 倍加速,后者在 70B 的 Chinchilla 上、于分布式部署形态下实测 2–2.5 倍解码加速——两组数字的基线实现与部署形态不同,不可直接横向比较。两者对输出分布的保证相同:与逐 token 解码在分布意义上严格相等——不是”几乎一样”,是数学上严格相等——严格性以浮点数值精度为限(Chen et al. 的口径是”within hardware numerics”)。注意”分布不变”的准确含义:同一起草线下,两种方式产出的样本服从同一分布;采样自带随机性,单次运行并不保证逐字相同(贪心解码是能承诺逐字相同的特例,见第 3 节)。

一个值得记住的时间线(提交日以 arXiv 摘要页为准,均于本文截稿当日核读):Leviathan 等的论文 2022 年 11 月 30 日首次提交、2023 年 5 月 18 日修订到 v2;Chen 等(DeepMind,Chinchilla)2023 年 2 月 2 日提交;两个团队前后只差约两个月、方法几乎相同——这在方法论上说明它不是某个团队的奇思,而是”带宽墙下解码延迟”这道题相当自然的解法。从 Chen 等提交起再过约一年,2024 年 1 月 Medusa(1 月 19 日提交)与 EAGLE(1 月 26 日提交)在同一个月里先后把”草稿来源”从独立小模型推进到”模型自己长出来的头”。至于”进入主流推理栈”:本文只在截稿当日确认 vLLM 文档已把投机解码列为正式特性(见来源 5),不给”何时首次落地”下断言。

本文做三件事:先把”为什么慢”的账算清楚(这笔账在显存带宽,不在算力);再把核心的拒绝采样算法与它的分布等价性逐步推导出来;最后自己推导期望接受 token 数与端到端加速比的闭式公式,自算一组加速曲线,看它跟论文报告的数字对不对得上。

1 术语与符号表

先把本文用到的符号一次性列清,后文不再重复定义:

符号含义备注
p(x)p(x)目标模型在当前前缀下对下一个 token 的概率分布大模型,如 70B
q(x)q(x)草稿模型的分布小模型,如 1B 级
γ\gamma每轮起草的 token 数两篇原始论文实验取 3–8(Leviathan 扫描 γ∈{1,3,7,8}、Chen 用 K∈{3,4},见来源 1、2)
α\alpha单个草稿 token 的接受率精确定义见第 3 节;速度估计时按位置平均(见第 4 节)
TtT_t目标模型基线增量前向(处理一个新位置)的耗时解码态、batch=1
TdT_d草稿模型生成一个 token 的耗时同硬件、同样解码态
β=Td/Tt\beta = T_d / T_t草稿一步与目标基线一步的时间比关键工程变量
EE一轮迭代平均产出多少个 token含拒绝后的修正 token
cc端到端加速比基线每 token 时间 ÷ 投机每 token 时间
KV 缓存注意力键值缓存拒绝时要回滚的部分(见第 8 节)
树形注意力分叉草稿专用的注意力掩码Medusa 与 EAGLE 共用的工程构件
token模型处理文本的最小单位与中文”字”不一一对应
logits输出层给词表每个候选的未归一化分数经温度等处理后归一化成分布
bf1616 位脑浮点存储格式每个参数占 2 字节
HBM高带宽显存每步权重从这里搬进计算单元
prefill / decode预填充 / 逐 token 解码两个阶段见第 2 节
batch(批量)一次前向并行处理的位置数单请求候选位置与多请求并发是两个维度

另外约定两个”一次前向”:基线解码的一次前向是增量前向,只处理一个新位置;验证时目标模型的一次前向则并行处理一整块候选位置(批量维为 γ+1\gamma+1)。两者都复用已有 KV 缓存、都只把全部权重从显存搬一遍。本文并假设 KV 缓存的读写流量相对权重搬运可忽略——上下文极长时这个假设会松动,届时每步时间里 KV 流量的占比上升,但”一次前向算多个位置仍只搬一遍权重”的结论不变。

阅读地图:第 2 节是硬件账(为什么慢、为什么小批量下并行验证近乎免费);再往后依次是第 3 节算法与等价性证明(全文核心)、第 4–5 节速度公式与自算曲线(想直接抄公式的从那里看起)、第 6–7 节变体选型与蒸馏对比、第 8–9 节边界与 FAQ。时间紧的读者可以只读第 3、5 两节。

称谓约定:下文一律用「目标模型」指被加速的大模型(即 pp)、「草稿模型」指出建议的小模型(即 qq);「一轮」指一次”起草 → 验证 → 回灌”的完整循环;「位置」指草稿链上的第 ii 个 token 槽位。

单位约定:时间用毫秒(ms)、吞吐用 token/s、加速比为无量纲倍数;凡标注「本文自算」的数字均为按闭式公式代入的演示值,与论文实测口径分列(见文末来源段的分列说明)。

这一节想让你记住的一件事:投机解码的全部收益都压在 α\alpha(草稿准不准)和 β\beta(草稿快不快)这两个数上,后面所有公式只是把它们组合起来的方式不同。

2 先把”慢”的账算明白:解码是一道带宽题

训练大模型吃的是算力,但 batch=1 的逐 token 解码吃的不是算力。解码时每个 token 都要把模型的全部权重从 HBM 显存搬进计算单元一遍,而单个 token 的矩阵乘法算术强度极低——每个权重字节只参与一次乘加,算力利用率天然上不去。这就是常说的”带宽墙”(memory wall)。

带宽账很好写。设模型有 NN 个参数,以 bf16 存储,每个参数 2 字节,则每步解码至少要搬运的字节数为:

bytes=2N\text{bytes} = 2N

在带宽为 BB 的硬件上,一次前向时间的下界是:

Tt≥2NBT_t \geq \frac{2N}{B}

拿一个 70B 目标模型放在 H200 上算一笔(本文自算,假设权重全量加载、忽略激活与 KV 缓存的额外流量):H200 的 HBM 带宽按官方规格为 4.8 TB/s(见来源 6),则

Tt≥2×70×1094.8×1012≈29.2 msT_t \geq \frac{2 \times 70 \times 10^9}{4.8 \times 10^{12}} \approx 29.2 \text{ ms}

即解码吞吐的理论上界约 1000/29.2≈341000/29.2 \approx 34 token/s。这个数字与大家跑 70B 模型的体感(几十 token/s;实际单卡 bf16 放不下 70B 权重,多为量化或多卡部署)是同一量级——说明瓶颈确实在带宽,而不是算力。注意这是一道除法:模型越大,每步要搬的字节越多,每步越慢。

投机解码的关键观察正建立在这笔账上:目标模型一次前向算 1 个 token 还是并行算 γ\gamma 个 token 的分数,搬运权重的成本几乎一样(都要把全部权重过一遍)。既然如此,为什么不每轮让它一次多算几个位置?问题只剩一个:token 是串行依赖的,你不知道第 i+1i+1 个位置该算什么,除非第 ii 个位置已经定下来。答案是——先猜。

为什么 prefill 不受这个苦

顺带把一个常见困惑说清:prefill(把整段 prompt 一次性算掉)为什么不慢?因为 prompt 是已知的——整段可以当作一个长度为 LL 的批次一次前向算完,权重只搬一遍,算力反而吃满。慢的只有 decode:每步只有 1 个新 token,权重却要再搬一遍。换句话说,解码慢的根源不是”矩阵乘法慢”,而是下一步的输入依赖上一步的输出,天然串行、天然批次为 1。投机解码的全部巧思,就是把”批次为 1”这件事打破:用草稿把串行依赖预先”铺”出来,让目标模型每次前向都有好几个位置可以一起算。

一次前向多算几个位置,为什么几乎不额外花钱

把一次前向从算 1 个位置改成并行算 γ+1\gamma+1 个位置,改变的是矩阵乘法的行数(批量维度从 1 变成 γ+1\gamma+1),不变的是要搬运的权重字节。注意这里的”批量”是单请求一次前向内的候选位置数;它与多请求并发拼批的”服务批量”是两个维度,后者见第 8 节。算力开销变成了原来的多少倍?批量维放大只放大激活相关的计算,逐项看:

FLOPs(γ+1)≈(γ+1)⋅FLOPs(1)\text{FLOPs}(\gamma+1) \approx (\gamma+1) \cdot \text{FLOPs}(1)

但解码态下算力本来就大量闲置——判断是否”白给”的标准是算术强度(每字节搬运对应多少次浮点运算)是否还低于硬件的转折点:

转折批量≈FpeakBpeak\text{转折批量} \approx \frac{F_{\text{peak}}}{B_{\text{peak}}}

拿公开规格算一笔(本文自算):A100 的 FP16 峰值算力约 312 TFLOPS312\,\text{TFLOPS}、HBM 带宽约 2039 GB/s2039\,\text{GB/s}(均为 NVIDIA 官方口径,见来源 7;2039 GB/s≈2.04 TB/s2039\,\text{GB/s} \approx 2.04\,\text{TB/s}),转折批量约 312×1012/(2039×109)≈153312 \times 10^{12} / (2039 \times 10^9) \approx 153。也就是说,只要一次前向的批量不超过百这个量级,计算时间相对权重搬运时间仍然近乎免费——验证 γ+1=5∼9\gamma+1 = 5 \sim 9 个位置远远碰不到这条线。带宽才是每步时间的地板,而带宽没变。这就是小批量下”并行验证近乎免费”的硬件根据——153 是该规格与简化假设下的 roofline 估计,不是实测的免费验证阈值;等批量大到越过转折点(高并发服务就是这种形态),验证就不再免费,这一点回到第 8 节再谈。

3 核心算法:起草、并行验证、拒绝采样修正

一轮投机解码的流程是:

  1. 草稿模型 qq 从当前前缀出发,串行生成 γ\gamma 个候选 token:x1,x2,…,xγx_1, x_2, \dots, x_\gamma(每步条件于前面已生成的草稿);
  2. 目标模型 pp 对前缀和这串草稿做一次前向,并行得到每个位置的分布 p(x∣x1…xi−1)p(x \mid x_1 \dots x_{i-1});
  3. 从左到右逐位置验证:位置 ii 接受当且仅当第 1 到 i−1i-1 个位置都被接受,且该位置通过下面的接受准则;
  4. 一旦某个位置被拒绝,就从该位置起丢弃后面全部草稿,并从”修正分布”里采一个 token 作为该位置的最终输出——这个 token 是被保证的;
  5. 若 γ\gamma 个全部接受,再从目标模型对第 γ+1\gamma+1 个位置的分布里正常采一个”奖励” token。

所以每轮至少产出 1 个 token(拒绝时修正采样保底),至多产出 γ+1\gamma+1 个。

图 1 是一轮迭代的完整流程:

投机解码一轮迭代:草稿模型串行起草 γ 个 token,目标模型一次并行打分,逐位接受或拒绝
图 1 投机解码的一次迭代:draft 串行起草、target 并行验证、命中前缀加一个修正 token 回灌为下一轮上下文(本文自绘)

这张图想说明的一件事:慢的部分(目标模型)每轮只跑一次,跑一次却能最多确认 γ+1\gamma+1 个 token;串行跑很多次的换成了快的小模型。

接受准则:拒绝采样的三行定义

对每个位置,设草稿模型给出的分布是 qq、目标模型给出的是 pp(都条件于同一个已被接受的前缀)。从 qq 里采样出候选 xx 后,接受准则是:

accept(x)  ⟺  u≤min⁡(1,p(x)q(x)),u∼Uniform(0,1)\text{accept}(x) \iff u \leq \min\left(1, \frac{p(x)}{q(x)}\right), \quad u \sim \mathrm{Uniform}(0,1)

直觉很直白:若目标模型比草稿模型更喜欢这个 token(p(x)≥q(x)p(x) \geq q(x)),必然接受;若目标模型不那么喜欢,就按比例 p(x)/q(x)p(x)/q(x) 的概率接受——目标模型”越不喜欢”,越可能被拒。

被拒绝时,不从 qq 重采,而是从修正分布 rr 里采:

r(x)=max⁡(0, p(x)−q(x))∑x′max⁡(0, p(x′)−q(x′))r(x) = \frac{\max(0,\, p(x) - q(x))}{\sum_{x'} \max(0,\, p(x') - q(x'))}

即”把目标模型比草稿模型多出来的概率质量归一化”。直觉同样直白:草稿模型已经把 qq 里的部分采过一次了,被拒绝说明目标模型偏好”草稿模型给得太少”的部分,那就专门从这部分差额里补一个。

为什么输出分布不变:逐步推导

这一小节把”等价”证清楚。定义单步接受概率(对所有可能的 xx 求和):

α=∑xmin⁡(p(x), q(x))\alpha = \sum_{x} \min\left(p(x),\, q(x)\right)

它就是”从 qq 采一个 token、按上述准则判定”的无条件接受概率。

第一步:候选 xx 被接受的联合概率是 q(x)⋅min⁡(1,p(x)q(x))=min⁡(p(x),q(x))q(x) \cdot \min\left(1, \frac{p(x)}{q(x)}\right) = \min\left(p(x), q(x)\right)。

第二步:拒绝的总概率是 1−α1 - \alpha。注意一个恒等式(下面用到):因为 ∑xp(x)=∑xq(x)=1\sum_x p(x) = \sum_x q(x) = 1,所以

∑xmax⁡(0,p(x)−q(x))=∑xmax⁡(0,q(x)−p(x))=1−α\sum_x \max\left(0, p(x) - q(x)\right) = \sum_x \max\left(0, q(x) - p(x)\right) = 1 - \alpha

证明只用到逐点恒等式 min⁡(p,q)+max⁡(0,p−q)=p\min(p,q) + \max(0, p-q) = p:对 xx 求和得 α+∑xmax⁡(0,p(x)−q(x))=1\alpha + \sum_x \max(0,p(x)-q(x)) = 1。

第三步:合并”接受”与”拒绝后修正采样”两条路径,位置最终输出的分布为:

P(output=x)=min⁡(p(x),q(x))+(1−α)⋅r(x)P(\text{output} = x) = \min\left(p(x), q(x)\right) + (1-\alpha) \cdot r(x)

代入 rr 的定义与第二步的恒等式,第二项等于:

(1−α)⋅max⁡(0,p(x)−q(x))1−α=max⁡(0,p(x)−q(x))(1-\alpha) \cdot \frac{\max(0, p(x)-q(x))}{1-\alpha} = \max\left(0, p(x)-q(x)\right)

第四步:两项相加,再用一次逐点恒等式:

min⁡(p(x),q(x))+max⁡(0,p(x)−q(x))=p(x)\min\left(p(x), q(x)\right) + \max\left(0, p(x) - q(x)\right) = p(x)

即每个位置的最终输出严格服从目标分布 pp。∎

注意这个证明完全没用到”草稿模型要好”这个假设——qq 任意差都可以,分布都不变;qq 的好坏只影响接受率 α\alpha,也就是速度,不影响正确性。这是投机解码设计上最漂亮的一点:它把”变快”和”变准”解耦了。

一个手算小例子:三个词的世界

抽象符号容易糊,拿一个只有三个候选词 {A,B,C}\{A, B, C\} 的世界把全过程手算一遍(本文自算)。设某位置上草稿与目标的分布分别是:

q=(0.5, 0.3, 0.2),p=(0.7, 0.2, 0.1)q = (0.5,\ 0.3,\ 0.2), \qquad p = (0.7,\ 0.2,\ 0.1)

草稿采出 AA(概率 0.5)时,接受概率 min⁡(1,p(A)/q(A))=min⁡(1,1.4)=1\min(1, p(A)/q(A)) = \min(1, 1.4) = 1——必然接受:草稿低估了 AA,目标只会更喜欢它。草稿采出 BB(概率 0.3)时,接受概率 p(B)/q(B)=0.2/0.3≈0.667p(B)/q(B) = 0.2/0.3 \approx 0.667;采出 CC 时为 0.1/0.2=0.50.1/0.2 = 0.5。

单步总接受率按 α=∑xmin⁡(p,q)\alpha = \sum_x \min(p, q) 算:

α=min⁡(0.5,0.7)+min⁡(0.3,0.2)+min⁡(0.2,0.1)=0.5+0.2+0.1=0.8\alpha = \min(0.5, 0.7) + \min(0.3, 0.2) + \min(0.2, 0.1) = 0.5 + 0.2 + 0.1 = 0.8

修正分布按”目标比草稿多出来的部分”归一化:

r=max⁡(0, p−q)∑max⁡(0, p−q)=(0.2, 0, 0)0.2=(1, 0, 0)r = \frac{\max(0,\ p-q)}{\sum \max(0,\ p-q)} = \frac{(0.2,\ 0,\ 0)}{0.2} = (1,\ 0,\ 0)

即被拒绝时永远从修正分布里采出 AA。逐项验算输出分布:P(A)=0.5+0.2×1=0.7P(A) = 0.5 + 0.2 \times 1 = 0.7;P(B)=0.2+0=0.2P(B) = 0.2 + 0 = 0.2;P(C)=0.1+0=0.1P(C) = 0.1 + 0 = 0.1——三个数正好就是 pp。草稿把 BB、CC 采样得偏多,拒绝修正恰好把这份偏差补了回去,这就是”分布不变”在数字上的样子。

全接受与”奖励” token:为什么上界是 γ+1

流程第 5 步的”奖励” token 值得单独说一句。当草稿的 γ\gamma 个位置全部被接受时,目标模型这一次前向其实已经顺带算出了第 γ+1\gamma+1 个位置的分布(它就在最后一个草稿 token 的下一行输出里,不需要任何额外计算),直接从该分布正常采样即可。所以一轮的产出上界是 γ+1\gamma + 1 而不是 γ\gamma。把这一步与拒绝时的修正 token 统一起来看更清楚:每轮恒有一个”额外”输出——首位置就被拒时它是修正 token,全部接受时它是奖励 token。这正是级数 E=1+α+⋯+αγE = 1 + \alpha + \cdots + \alpha^{\gamma} 开头那个常数项 1 的来源:EE = 每轮保底的 1 个额外 token + 期望被接受的草稿数。

顺带一个常见追问:贪心解码(argmax)下这套机制还成立吗?成立,而且更简单——贪心是分布退化为独热(one-hot)的特例,接受准则退化为”草稿的 argmax 与目标的 argmax 是否相等”,逐字相等才接受,全等时目标本就要输出同一个 token,“奖励” token 也不需要额外采样。这也是各推理引擎在 greedy 模式下能直接报”接受率 = 命中率”的原因。

q 不必是”模型”:建议分布的一般性

再退一步看,等价性证明只用到 ∑xq(x)=1\sum_x q(x) = 1 这一个条件——草稿甚至不需要是一个神经网络。任何能给下一 token 开出概率的建议机制都可以套进同一个接受/修正框架:可以是”复读上文出现过的搭配”,可以是规则模板,也可以是缓存的历史采样。不同建议机制只改变 α\alpha 与 TdT_d(也就是说只改变速度),不改变输出的正确性。这个一般性正是后续工作能自由替换”草稿来源”的理论空间——Medusa 的解码头、EAGLE 的特征头,本质都是往 qq 这个槽位里塞不同的东西。

当然,工程上 qq 还有一个隐性要求:它必须能给出实际用于起草采样的归一化概率 qq——logits 要先经过与采样配置一致的处理(温度、top-k/top-p 截断)再归一化,否则接受准则里的比值 p(x)/q(x)p(x)/q(x) 无从算起。Chen et al. 在讨论草稿选择时也把”暴露 logits”列为前提。只吐 token 不吐分布的建议机制(比如某种只给结果的检索器)直接用不了这套准则,得先改成给分布的形式。

4 每轮平均产出多少 token:从几何级数到闭式公式

一轮的产出是这样构成的:第 1 个位置以概率 α\alpha 接受;接受了它,第 2 个位置才轮到验证,又是 α\alpha;如此直到第 γ\gamma 个位置,全对时还有第 γ+1\gamma+1 个”奖励” token。这是一串(近似)独立的伯努利试验,产出 token 数的期望为:

E=1+α+α2+⋯+αγ=1−αγ+11−αE = 1 + \alpha + \alpha^2 + \cdots + \alpha^{\gamma} = \frac{1 - \alpha^{\gamma+1}}{1 - \alpha}

(α=1\alpha = 1 时退化为 γ+1\gamma+1。)分子里每个位置被”数进来”的前提是它前面的位置全部通过,这正是级数的形式;分母的 1−α1-\alpha 让它收敛——直觉是:只要 α<1\alpha < 1,把草稿拉长的边际产出按 α\alpha 的幂次衰减,级数封顶于 1/(1−α)1/(1-\alpha)。

要把两种”精确性”的边界分清:第 3 节的等价性证明不依赖任何平均化假设——它对每一轮、每个位置逐个精确成立;平均化只出现在速度估计这一步。说”近似”是因为各位置的接受率并不严格同分布:草稿在第 2 步以后条件于前面的草稿 token(有些可能后来被拒掉),速度公式假设各位置的条件接受率近似恒定为同一个 α\alpha——两篇原始论文正是以这一平均化假设建模速度(Leviathan et al. 明写 i.i.d. 假设);vLLM 文档则用按位置的非递增接受率刻画草稿质量,是同一现象更细的刻画,并不采用单一平均 α\alpha 的速度公式。它对算法正确性无影响,只影响速度估计的精度。

除了期望,还有必要看一眼波动。单轮最少产出 1 个 token、最多 γ+1\gamma+1 个,极端情形”全拒”的概率是第一位置被拒的概率:

P(单轮只产出 1 个)=1−αP(\text{单轮只产出 1 个}) = 1 - \alpha

代入 α=0.7\alpha = 0.7:每轮有 30% 的机会一个草稿都不中、只拿到保底的修正 token;但连续 kk 轮都全拒的概率按独立近似约为 (1−α)k(1-\alpha)^k,k=3k=3 时已不到 3%。单轮看波动不小,但整段生成几百个 token 是几十上百轮的叠加,大数定律会把每 token 平均时间收敛到期望值附近。这也再次呼应一个工程直觉:投机解码的收益在长输出上最稳,在短输出上要考虑方差(对照 FAQ 问三)。

把整段生成的视角写成伪代码(轮外循环,完整版):

  1. 前缀 prefix 初始化为已确认的全部 token;
  2. 循环:草稿模型从 prefix 出发串行采 γ\gamma 步,得到草稿链;
  3. 目标模型对 prefix+草稿链做一次前向,取出每个位置的分布 pip_i;
  4. 从左到右逐位置执行接受准则(与修正采样),截出最长接受前缀;
  5. 把接受前缀与(奖励或修正的)1 个 token 全部并入 prefix;
  6. 未达停止条件(长度/结束符)则回到第 2 步。

注意第 5 步:一轮并入的 token 数就是 1 到 γ+1\gamma+1 之间的随机变量——本文所有公式刻画的正是它的期望。

下面这组数字全部是本文自算(代入上式):

EE(token/轮)γ=3\gamma=3γ=4\gamma=4γ=7\gamma=7
α=0.4\alpha=0.41.621.651.67
α=0.6\alpha=0.62.182.312.46
α=0.8\alpha=0.82.953.364.16
α=0.9\alpha=0.93.444.105.70

这张表想让你看出两件事:其一,EE 对 α\alpha 极其敏感——γ=7\gamma=7 列从 α=0.6\alpha=0.6 的 2.46 升到 α=0.8\alpha=0.8 的 4.16(约 1.7 倍),所以后来的一切变体(EAGLE、Medusa 等)都在卷”草稿准不准”;其二,EE 对 γ\gamma 明显边际递减,草稿画太长不划算——草稿也要花时间,这就引出下一节的端到端账。

按位置拆开看:接受率并不是每步同高

把 EE 当成一串同分布伯努利试验是一种简化。常见的实测画像是接受率按位置递减:第 1 个草稿 token 只需要条件于已确认前缀,与目标模型”看到的世界”完全一致,接受率往往最高;第 2 个开始,草稿条件于”自己上一笔可能被拒的草稿”,一旦前面画偏了、后面只会越偏越远(错误会沿草稿链复利放大)。所以”平均 α\alpha“背后往往是 α1≥α2≥⋯\alpha_1 \geq \alpha_2 \geq \cdots 的一条曲线——要强调:这条递减画像是常见的工程观察、不是无条件成立的规律,具体形状取决于草稿与任务,应在自己的负载上实测(见第 11 节);γ\gamma 取得越长,边际位置的平均接受率越低——这是 EE 边际递减的第二个原因(第一个是级数本身的收敛)。

对实现的启示:与其把 γ\gamma 定死,不如按位置接受率的实测画像动态截断——发现草稿链上前面几步命中率高、后面塌下去,就缩短草稿。EAGLE(来源 3)论文中的动态草稿树正是这个思路的树形推广。

另一个值得单列的边界是首轮效应:第一轮草稿条件于整段 prompt(已知内容),但没有”已确认的生成内容”可依附,与后续轮次的条件基础不同,接受率画像可能偏低——这是待实测的边界,本文不依据任何具体测量下断言。对几十 token 的短输出,这个冷启动可能吃掉可感知的收益;对长输出则无关紧要。

5 端到端加速比:把草稿的时间也算进去

期望产出 EE 刻画”一轮平均确认多少个 token”,但一轮的总时间不止目标模型那一次验证前向,还有草稿模型串行跑 γ\gamma 步:

Titer=γTd+Tverify(γ)T_{\text{iter}} = \gamma T_d + T_{\text{verify}}(\gamma)

其中 Tverify(γ)T_{\text{verify}}(\gamma) 是目标模型并行验证 γ+1\gamma+1 个候选位置的一次前向耗时。在带宽受限、候选块很短的解码态下,验证前向虽然多算了几个位置,权重仍只搬一遍,因此近似 Tverify(γ)≈TtT_{\text{verify}}(\gamma) \approx T_t;下文的端到端公式沿用这一近似,它在高并发下何时失效见第 8 节。

基线逐 token 解码生成 EE 个 token 要 E⋅TtE \cdot T_t 的时间,于是端到端加速比为:

c=E⋅TtγTd+Tt=1−αγ+1(1−α)(γβ+1),β=TdTtc = \frac{E \cdot T_t}{\gamma T_d + T_t} = \frac{1 - \alpha^{\gamma+1}}{(1-\alpha)\left(\gamma\beta + 1\right)}, \qquad \beta = \frac{T_d}{T_t}

(这与两篇原始论文给出的加速比形式一致;本文从时间账重新推导了一遍,以便每个因子的来源都可核。)

关键是 β\beta 有一个漂亮的工程近似:batch=1 的解码是带宽墙下的除法(第 2 节),草稿模型与目标模型在同一硬件、同一解码形态下,单位 token 耗时近似正比于参数量:

β=TdTt≈NdNt\beta = \frac{T_d}{T_t} \approx \frac{N_d}{N_t}

例如用 1B 草稿去伺候 70B 目标,β≈1/70≈0.014\beta \approx 1/70 \approx 0.014。这个近似在 batch 增大、两模型先后进入算力受限区间时会失效——它是边界条件,不是定律。

自算加速曲线:最优草稿长度存在吗

取一组演示值 α=0.7\alpha = 0.7、β=0.05\beta = 0.05(本文选取的演示参数,非任何论文实测配置;比 1/70 略保守,给调度与采样开销留余量),代入上式(本文自算):

cc(加速比)γ=4\gamma=4γ=7\gamma=7γ=10\gamma=10
α=0.7, β=0.05\alpha=0.7,\ \beta=0.052.312.332.18

以 γ=4\gamma=4 为例算一遍全过程:E=(1−0.75)/0.3=2.77E = (1-0.7^5)/0.3 = 2.77,c=2.77/(4×0.05+1)=2.77/1.2=2.31c = 2.77/(4 \times 0.05 + 1) = 2.77/1.2 = 2.31。

三个观察:

  • γ\gamma 不是”越长越好”。按上式对 γ=1…20\gamma = 1 \dots 20 做整数扫描(本文自算):峰值 c≈2.35c \approx 2.35 落在 γ=5\gamma = 5 与 γ=6\gamma = 6 的平台上(两者几乎并列),γ=7\gamma = 7 时约 2.33、之后单调回落——分子逼近上限 1/(1−α)≈3.331/(1-\alpha) \approx 3.33,分母的 γβ\gamma\beta 却线性变大,曲线必然在有限点回头。草稿长度存在一个依赖 α\alpha 与 β\beta 的最优值,这也是实现里常把 γ\gamma 设为 4–8 的原因之一。
  • 这组演示参数下的最优加速约 2.35 倍,与 Chen et al. 在 Chinchilla 70B(分布式部署口径)上报告的 2–2.5 倍落在同一区间——公式抓住了主要矛盾。
  • 加速比的极限行为分两问:固定 β>0\beta>0 把 γ→∞\gamma \to \infty,E→11−αE \to \frac{1}{1-\alpha} 封顶,而分母 γβ+1\gamma\beta + 1 线性增大,c→0c \to 0——任何有限 β\beta 下草稿画太长必然反向亏本;反过来 β→0\beta \to 0(草稿近乎免费)时 cc 的上界是 11−α\frac{1}{1-\alpha}。草稿越快,天花板越高,但天花板永远存在(α=0.7\alpha = 0.7 时上界约 3.33)。

草稿多快才值得画多长:β 的三档对照

β\beta 由草稿相对目标的”体重”决定(带宽墙近似 β≈Nd/Nt\beta \approx N_d/N_t),它直接改写最优草稿长度。把上表固定 α=0.7\alpha=0.7,换 β\beta 扫三档(本文自算):

cc(加速比)γ=4\gamma=4γ=7\gamma=7
β=0.01\beta=0.01(草稿约为目标的 1/100)2.672.94
β=0.05\beta=0.05(约为 1/20)2.312.33
β=0.15\beta=0.15(约为 1/7)1.731.53

三个结论直接可读:

  • 草稿越便宜,最优 γ\gamma 越长:β=0.01\beta=0.01 时把草稿画到 7 步仍然净赚;β=0.15\beta=0.15 时 7 步反而比 4 步亏——分母里 γβ\gamma\beta 的惩罚开始压过分子 EE 的增长。
  • β\beta 决定这套方法”值不值得做”(仍指固定 α=0.7\alpha=0.7 的参数扫描结果):草稿是目标 1/100 量级时收益稳定在 2.5 倍以上(γ≥3\gamma \geq 3,即表中两列);草稿只比目标小一个档位时收益已缩到约 1.7 倍(γ=4\gamma=4)到 1.5 倍(γ=7\gamma=7),扣除实现开销后可能只剩个零头。
  • 与上一小节合起来看:α\alpha 决定分子能长到多高,β\beta 决定分母涨得多快——选草稿就是在这两个数之间出价:草稿更大通常 α\alpha 更高(分子涨),但 β\beta 也更高(分母涨)。Chen et al. 论文专门用一节讨论草稿模型的选择:草稿不必特别强,只要暴露 logits、接受率够高且延迟够低即可收支平衡;他们还报告了一个对工程很友好的观察——总接受率对具体采样参数(top-k、温度等)相当稳健。

一个完整的自算算例:把 70B 的账从头到尾算一遍

把散在各节的算式串成一条完整的时间线(全部本文自算,参数为演示取值,非任何论文实测)。设目标模型 70B、bf16、单卡 H200(带宽 4.8 TB/s)、batch=1 解码;草稿取 1.1B、同硬件同精度。

第一步,目标模型每步时间(第 2 节的带宽账):

Tt=2×70×1094.8×1012≈29.17 ms⇒基线吞吐≈34.3 token/sT_t = \frac{2 \times 70 \times 10^9}{4.8 \times 10^{12}} \approx 29.17 \text{ ms} \quad\Rightarrow\quad \text{基线吞吐} \approx 34.3 \text{ token/s}

第二步,草稿每步时间与 β\beta(同一笔账除以草稿体量):

Td=2×1.1×1094.8×1012≈0.46 ms,β=0.4629.2≈0.016T_d = \frac{2 \times 1.1 \times 10^9}{4.8 \times 10^{12}} \approx 0.46 \text{ ms}, \qquad \beta = \frac{0.46}{29.2} \approx 0.016

第三步,设 α=0.7\alpha = 0.7、γ=7\gamma = 7:每轮时间 7×0.46+29.2=32.47 \times 0.46 + 29.2 = 32.4 ms,每轮产出 E=(1−0.78)/0.3≈3.14E = (1 - 0.7^8)/0.3 \approx 3.14 个 token,于是:

吞吐=3.1432.4 ms≈97 token/s,c≈9734.3≈2.8\text{吞吐} = \frac{3.14}{32.4 \text{ ms}} \approx 97 \text{ token/s}, \qquad c \approx \frac{97}{34.3} \approx 2.8

从 34 涨到 97 token/s、快约 2.8 倍——只靠”小模型先猜、大模型抽查”,输出分布还一点没变。三个口径再对一遍:γ=7\gamma=7 时草稿的时间只占每轮的 7×0.46/32.4≈10%7 \times 0.46 / 32.4 \approx 10\%(γβ≈0.11\gamma\beta \approx 0.11),所以再拉长草稿仍略有赚头(对照上一小节 β=0.01\beta=0.01 行);加速比的主要来源是目标模型那一次前向从”确认 1 个 token”变成”确认约 3 个 token”;而这个数字与 Chen et al. 在 Chinchilla 70B(分布式部署口径)上报告的 2–2.5 倍同处一个区间(本例参数更乐观,故略高)。最后一个必须重申的限定:以上 29.2 ms 是”权重搬运地板”的理论值,真实部署里还有 KV 缓存流量、采样、调度与框架开销,实测吞吐与实测加速比都可能低于这些数字——两者都要实测,不能把本节的理想化算例外推为部署预期。

图 2 把基线生成 4 个 token 的时间结构,与一次 γ=4\gamma=4 投机轮次的时间结构并排画出来(注意两者产出量不保证相等:投机那一轮实际产出 1 到 5 个 token,取决于接受情况;同产出量的严格对比应按期望 EE 归一化):

基线逐 token 解码与投机解码的时间线对比:4 次目标前向 vs 4 次草稿前向加 1 次目标验证
图 2 时间账对比:基线生成 4 个 token 需 4 次目标前向;一次 γ=4 的投机轮次 = 4 次草稿前向 + 1 次目标并行验证,该轮产出 1–5 个 token(本文自绘,时间为示意比例)

这张图想说明的一件事:投机解码用”4 次便宜的前向 + 1 次昂贵的前向”替换”4 次昂贵的前向”,省下的就是右边那一大块目标模型时间。

不完美的草稿也有用:收支平衡线

从加速比公式还能读出一个反直觉结论。c>1c > 1 的条件是:

1−αγ+11−α>1+γβ\frac{1 - \alpha^{\gamma+1}}{1-\alpha} > 1 + \gamma\beta

左边随 γ→∞\gamma \to \infty 收敛到 1/(1−α)1/(1-\alpha)。也就是说哪怕草稿很一般(如 α=0.5\alpha = 0.5 的示例,左边上界 2),只要 β\beta 足够小(草稿足够小、跑得足够快),收益仍为正。反过来,若草稿与目标在同一量级(β≈1\beta \approx 1),右边对任何 γ≥1\gamma \geq 1 都 ≥2\geq 2,左边在该示例下的上界只到 2、实际取值始终更低——该示例下跟目标差不多大的草稿必然亏本。这解释了为什么没人拿 65B 去给 70B 打草稿。

6 变体与工程落地:草稿从哪来

“草稿必须另备一个小模型”是这套方法最大的工程负担:草稿要与目标模型同分词器、风格对齐、还得跟得上目标模型的版本迭代。后续工作主要在攻这一点,三条路线的对照如下。先声明再读表:各行报告的基线实现、硬件、负载与口径(延迟/吞吐/每 token 时间)互不相同,数字不可横向比较;表中加速均为各论文自报口径:

路线代表工作草稿来源输出等价性论文报告加速
独立小模型两篇原始论文(arXiv:2211.17192 / 2302.01318)另训/另选小模型精确(拒绝采样框架内)T5-XXL 相对标准 T5X 实现 2–3 倍;Chinchilla 70B 分布式部署解码 2–2.5 倍
加解码头Medusa(arXiv:2401.10774)在目标模型上加多个解码头(Medusa-1 冻结骨干只训头、Medusa-2 联合微调)取决于接受策略(严格拒绝采样可保持精确;typical acceptance 为有损扩展)Medusa-1 超 2.2 倍、Medusa-2 2.3–3.6 倍(摘要口径)
特征层外推EAGLE(arXiv:2401.15077)轻量头在倒数第二层特征上做自回归精确(投机采样框架内)LLaMA2-Chat 70B 延迟 2.7–3.5 倍
  • Medusa 的思路是不再要独立草稿模型,而是在目标模型的隐藏层上直接加一组解码头,每个头预测一个未来位置,配合树形注意力(tree attention)同时验证多条候选续写。对它的输出等价性要分三个维度看:是否修改目标骨干(Medusa-1 冻结骨干只训头、Medusa-2 联合微调骨干与头)、采用什么接受策略(论文把 typical acceptance 作为扩展列出:用阈值代替严格拒绝采样,这一配置是有损的;同时保留基于严格拒绝采样的用法,Medusa-1 的加速在论文摘要中亦以”lossless inference acceleration”描述)、是否承诺原目标分布(取决于前两条的具体组合)。换来的便利是无需获取和维护一个单独的草稿模型——但选型时不能把整条 Medusa 路线压缩成”有损”一个标签。树形注意力值得多说一句:既然草稿不再是一条链而是多份”分叉”的候选续写,验证时就要求注意力掩码让每个位置只看见自己的祖先与自身,不看未来位置、也不看兄弟分支——这是对标准因果掩码的一次小改造,也是 Medusa 与 EAGLE 共用的工程构件。
  • EAGLE 的观察更本质:token 层面的自回归很难(下一词本质多解),但倒数第二层特征层面的自回归更平滑,不确定性也更有结构。它在特征层外推、以极轻的头部起草,再配合动态的草稿树验证;在投机采样的严格框架内保持精确,论文报告在 LLaMA2-Chat 70B 上取得 2.7–3.5 倍延迟加速。EAGLE 处理”特征不确定”的手法也很有代表性:预测下一个特征时,把当前已知的 token 序列前移一步作为条件一起喂进去。索引关系用一个小表对齐(“已知”指可直接作为输入喂给轻量头的部分):
时刻token特征起草头的用法
ttxtx_t 已知ftf_t 已知起草头在此起步
t+1t+1xt+1x_{t+1} 未知(待生成)待预测已知的 xtx_t(连同 ftf_t)前移一步作为条件补入

下一 token 本身虽然未知,但上一位置的 token 与特征是已知的,把这个信息补上,特征预测的不确定性大大收窄。这等于把”猜下一词”改写成”看上一词、猜下一特征”,把不适定的预测变成了条件更充分的预测。 读加速数字时还有一个容易踩的坑:各家论文的加速比不可直接横向比。Leviathan et al. 的 2–3 倍是相对”标准 T5X 实现”(其摘要原文口径),Chen et al. 的 2–2.5 倍是分布式部署下的解码加速,EAGLE 的 2.7–3.5 倍是延迟加速且草稿机制完全不同(特征头 + 动态树)。基线实现、硬件、batch 形态、草稿体量、报告口径(延迟 vs 吞吐 vs 每 token 时间)全都不一样,拿 EAGLE 的 3.5 减 Leviathan 的 3 得出”EAGLE 更强”是不成立的读法。正确的用法是把每篇的数字当成”该形态下该方法的大致收益区间”,再按本文的 α\alpha/β\beta/γ\gamma 框架把自己的形态对号入座。

  • 工程侧,本文截稿当日核读 vLLM 的 Speculative Decoding 特性文档(latest 版,见来源 5),确认其已把投机解码列为正式特性——latest 文档只能证明截稿时已提供,不承担”何时首次落地”的证据。本文未实测 vLLM 的具体后端配置,不对其性能下结论。

三条路线怎么选?一个实用的判读顺序(本文工程解读,非任何论文口径):如果你不想维护第二个独立草稿模型,且能接受典型接受配置下的分布偏差(或改用其严格接受口径),看 Medusa 系;如果你要求分布精确、且愿意为训练一个轻量头付出一次成本,看 EAGLE 系;如果你的目标模型已有同家族的小模型(同分词器、同风格),直接拿它当草稿是最省事的起点——这正是两篇原始论文的用法。

7 与蒸馏的关系:为什么不直接蒸馏一个小模型全部接管

读到这里你可能冒出一个更大的疑问:既然小模型在”容易 token”上已经很准,为什么不干脆蒸馏一个足以独立工作的小模型,把大模型整个换掉,那才是几个数量级的省?

答案在于两件事并不矛盾、而是各管一段。投机解码的等价性证明(第 3 节)说明:小模型不需要”接近大模型”,只需要在”两者分歧不大”的那部分概率质量上与大模型重合——分歧大的部分拒绝采样会自动修正,保证最终分布精确等于大模型。而一个独立部署的蒸馏小模型,在分布分歧大的位置上没有任何纠错机制,它输出什么就是什么,质量天花板就是它自己。换句话说:

投机解码的输出≡大模型的分布,蒸馏小模型的输出≈大模型的分布\text{投机解码的输出} \equiv \text{大模型的分布}, \qquad \text{蒸馏小模型的输出} \approx \text{大模型的分布}

第一个是恒等号,第二个只是约等号——约的成分随任务、随分布尾部的稀有事件放大。Leviathan et al. 的摘要正是以”without any changes to the outputs”为核心卖点;Chen et al. 的对应表述是”within hardware numerics”、不牺牲采样质量。所以工程上的分工是清晰的:要质量上限就用投机解码(大模型仍在环上),要绝对成本下限就用小模型(大模型下线);也有把两者叠起来用的形态——用一个蒸馏小模型当草稿,去伺候它自己的老师。

顺带也就回答了”草稿从哪来”的最好答案之一:从目标模型自己蒸馏。同一份训练数据、同一个分词器,风格天然对齐,α\alpha 通常比”顺手抓一个别家小模型”高一截;Chen et al. 讨论草稿选择时把序列级蒸馏列为候选路线,但同时也指出蒸馏需要大算力预算、不如直接用目标模型的小号版本实用——同源蒸馏可行,但并非该文首推。

收成一张三行的决策表(本文工程解读):要质量上限——用投机解码,大模型留在环上;要成本下限——直接部署小模型,大模型下线;两者都要一点——把蒸馏出来的小模型再拿去当它老师的草稿,一份蒸馏成本换来两种用法。

8 边界与限制

  • 收益随 batch 增大而缩小。第 2 节的带宽账只在批量小的时候成立;高并发下目标模型进入算力受限区间,一次验证 γ\gamma 个位置的浮点开销不再是”免费搭车”,β\beta 的参数量近似也失效。投机解码的甜点区是低并发、单请求延迟敏感的场景。

把这个边界再算细一点(本文自算示意):设并发批量已经大到每步解码是算力受限的(时间正比于 FLOPs),草稿与目标同硬件。基线每 token 花 1 单位(= 一次目标前向)算力;投机解码每轮花草稿算力 γ⋅NdNt\gamma \cdot \frac{N_d}{N_t} 加验证算力 γ+1\gamma + 1(草稿的浮点量近似按参数量比例折算)、产出 EE 个 token,折合每 token:

(γ+1)+γ⋅Nd/NtE 单位算力\frac{(\gamma+1) + \gamma \cdot N_d/N_t}{E} \text{ 单位算力}

代入 γ=4\gamma=4、α=0.7\alpha=0.7(E≈2.77E \approx 2.77)、草稿为目标 1/20:每 token 约 5+0.22.77≈1.88\frac{5 + 0.2}{2.77} \approx 1.88 单位——吞吐不升反降到基线的约 53%。这与带宽墙下的结论完全相反:同一个方法,在延迟敏感的单请求场景是两倍加速,在吞吐敏感的大批量场景可能近乎减半吞吐。所以”投机解码是不是免费午餐”的答案取决于你的服务形态——在本节构造的算力受限示例里,它优化延迟、牺牲吞吐;你的服务上净收益如何,要按自己的批量形态实测,不能把这个示例推广成投机解码的普遍性质。

  • 接受率是任务相关的。草稿与目标在领域上偏移(代码 vs 闲聊、多语切换)时 α\alpha 会明显下滑,加速比随之缩水;极端情况下低于收支平衡线就反向变慢。上线前应按自己的负载实测 α\alpha,而不是抄论文的数。
  • 两个模型都要驻留显存。草稿虽小也要占显存,还要管理两份 KV 缓存的对齐与回滚(拒绝时草稿的 KV 需要丢弃),实现复杂度不低。
  • 有损配置要单独评估分布漂移。Medusa 在 typical acceptance 配置下用阈值换来了便利,“输出分布不变”的保证在该配置下不复存在(其严格接受口径仍可保持精确),对采样敏感的任务要针对具体配置单独验证质量。
  • 草稿与目标要版本同步。目标模型一旦升级(新权重、新分词、新风格),旧草稿的 α\alpha 会整体漂移,加速比静默缩水——没有报警,只有变慢。把 α\alpha 当成一个需要持续监控的在线指标、而不是一次性调好的常数,是长期运营这套方法的前提。
  • 本文所有性能数字除标注”本文自算”外,均为论文口径转述;本文未做端到端实测。

KV 缓存的回滚账:实现层最容易被低估的一笔

还有一个只在动手实现时才会撞上的坑:两个模型的 KV 缓存都要跟着回合走。草稿模型为 γ\gamma 个候选 token 各自生成了 KV 缓存,一旦某个位置被拒绝,这些缓存全部作废,必须回滚到接受前缀的末尾;目标模型的 KV 缓存同理,只能保留被接受前缀对应的部分。工程上通常为两个模型各维护”接受前缀 + 草稿区”两段,草稿区每轮覆盖重写。这笔开销不体现在上面的公式里——公式假设了”拒绝只浪费草稿时间”,但缓存管理写得糙时,回滚与重算可能把收益啃掉一大块。这也是各引擎把它做成正式特性而非示例代码的原因之一:正确性容易证,工程细节容易错。

具体到目标模型的 KV,还有一个容易想岔的点:验证那次前向算出的、落在被拒位置上的 KV,不能顺手保留下来给下一轮用——下一轮的草稿可能走完全不同的分叉,这些位置的 KV 对应的是”旧草稿的上下文”,留着只会污染注意力。正确的语义是:每轮验证后,目标模型 KV 截断到接受前缀末尾,多余部分丢弃;草稿区每轮整体重写。验收时可以专门构造”连续两轮、第一轮长草稿第二轮短草稿”的用例,检查第二轮的注意力输出与”从未有过第一轮草稿”的基线完全一致。

9 常见疑问五则

问一:输出真的”逐字一样”吗?采样不是有随机性吗?

“逐字一样”的准确含义是每个位置的条件分布逐个等于目标模型自己的分布(第 3 节已证),不是”与某一次具体运行的基线输出一字不差”——只要采样带随机性,两次基线解码自己也不会字字相同。真正可承诺的是:投机解码与基线解码产出的样本服从同一分布。固定同一套随机种子只是对拍实验手段之一——同种子并不保证逐字相同(两条路径消耗随机数的次序不同);更稳的分布验证是固定共同前缀、多次独立采样后比对位置分布(见第 11 节清单第 3 条)。贪心解码是唯一能承诺”逐字相同”的特例。

问二:接受率是不是就是”草稿准确率”?

不是。接受概率 min⁡(1,p(x)/q(x))\min(1, p(x)/q(x)) 逐 token 依赖两个分布的比值,不是”草稿选对了没有”的 0/1 事件——草稿选了一个目标模型也喜欢的词(哪怕不是目标的第一名),照样大概率通过。α\alpha 是逐位置比值的和式平均,它比”准确率”宽松得多,这也是为什么中等水平的草稿也能拿到不错的 α\alpha。

问三:长输出和短输出收益一样吗?

正文越长收益越接近稳态值 cc。轮数少时,前几轮的方差(可能连续被拒)会摊薄收益;同时第一轮草稿没有”已确认生成 token”可依附的热身问题(prompt 本身是已知的)、以及上下文特别长的场景里 prefill 本身占比小,这些边界效应本文未单独建模。对延迟敏感的短输出场景,建议实测自己负载下的首轮接受率。

问四:草稿要用什么温度采样?跟目标一致吗?

一个常被忽略的细节:拒绝采样保证的是”以目标分布为不变量”,草稿自己的采样温度只影响 qq 的形状、进而影响 α\alpha。直觉上有两种走法:草稿温度调低(更确定、更保守)会提高逐字命中率但可能让 qq 与 pp 的形状错位;与目标保持同温度则让 qq 更接近 pp 的形状、比值更友好。Chen et al. 报告总接受率对具体采样参数相当稳健,说明这不是第一敏感项——但工程上值得在自己的负载上各扫一遍再定,而不是拍脑袋。

问五:它和连续批处理(continuous batching)冲突吗?

不冲突但要一起算账。连续批处理把不同请求的解码步拼批来填满硬件,这恰好是在把”带宽墙”往”算力墙”推——而本文边界一节刚推过:批量越大,验证的浮点开销越不免费、投机解码的收益越薄。两套机制叠加时的净收益取决于你的批量落在哪个区间,且没有统一的批量阈值——建议在自己的服务上按批量档位实测净收益后再定:小批量下大概率是赚的;批量为几十上百时可能变成负贡献。务实做法是给投机解码设一个”批量开关”——小批量开、大批量关——而不是全局常开,开关的具体档位以压测为准。

10 进阶学习建议

按”能动手复算”的标准给一条路径(均出自本文来源列表里的材料):

  1. 先把 Leviathan et al.(arXiv:2211.17192)的采样等价性证明自己推一遍——只需拒绝采样的基础,一页纸就能推完,本文第 3 节的四步就是它的骨架;
  2. 再读 Chen et al.(arXiv:2302.01318)的草稿模型选择章节与部署形态讨论,重点看”β\beta 随部署形态怎么变”——这是把公式对到自己硬件上的钥匙;
  3. 然后对比读 Medusa(arXiv:2401.10774)与 EAGLE(arXiv:2401.15077)各自怎么把”草稿来源”这块最难啃的骨头换成”自己长出来的头”——EAGLE 代表”保持精确、改草稿来源”这一取舍;Medusa 则按配置分看:用典型接受时以分布偏差换便利、用严格接受口径时仍可保持精确,取舍取决于具体配置;
  4. 最后去 vLLM 的 Speculative Decoding 特性文档里找一个你能跑起来的后端,用本文的”实现核对清单”逐项对拍——公式读十遍不如贪心模式下对拍一次。

11 实现核对清单

如果你打算在自己的栈里验证这套方法,建议按这个顺序核对(本文工程经验整理,非论文内容):

  1. 分词器一致性:草稿与目标共享同一个词表,否则”token 级对齐”无从谈起;
  2. 先在贪心模式下打通:贪心把接受退化为逐字相等,最容易对拍验证(投机解码输出与基线输出应完全一致);但贪心同样存在拒绝路径(草稿 argmax 与目标不一致即拒绝),测试要主动构造全命中、首位置拒绝、中途拒绝三类用例,别只测”全命中”;
  3. 再切到采样模式对拍分布:固定共同前缀、多次独立采样,统计每个位置的 token 频率(分母 = 该位置被实际验证到的次数,见第 4 节),两套实现应无系统偏差;小词表场景可直接枚举全分布比对,统计比较要预留容差。固定种子只在贪心下有”逐字一致”的意义,采样模式下同种子不保证同文本;
  4. 实测自己负载的 α\alpha(按位置分桶)与 β\beta,再代入 cc 公式决定 γ\gamma,不要照抄论文的 γ\gamma;
  5. 上线前用生产流量形态(而非单请求)复测——并发一高,带宽墙变算力墙,收益可能完全不同;
  6. 把每轮实际接受长度与耗时打进日志:α\alpha 是要长期监控的在线指标(对应边界节”版本同步”一条),没有日志就等于让收益静默流失。

对拍阶段最常见的三种”看起来对、其实错了”(本文经验整理):

  • 接受率统计口径混入”奖励” token:把第 γ+1\gamma+1 个奖励位置也当命中计进 α\alpha,数字虚高、γ\gamma 选型跟着虚高——统计命中时只数前 γ\gamma 个草稿位置,分母用”该位置被实际验证到的次数”(即前面位置全部通过的次数),不要用所有起草轮次;
  • 修正采样忘了用 rr 而是拿 qq 重采:只在贪心模式下对拍看不出来,要切到采样模式、按上面对拍清单统计位置分布才能暴露系统性偏差——这正是把对拍顺序从”贪心先行”设计成两步的原因;
  • KV 回滚差一位:拒绝后 prefix 多保留/少保留一个 token 的 off-by-one,症状是长文本质量随长度恶化、而短输出完全正常,极难从端到端指标里直接定位——对拍时建议专门留几条长输出用例。

12 小结

投机解码把”解码慢”的带宽账与”采样可以等价加速”的统计账接在了一起:小模型出草稿、大模型一次并行验证,拒绝采样保证分布不变,收益由 E=1−αγ+11−αE = \frac{1-\alpha^{\gamma+1}}{1-\alpha} 与 c=1−αγ+1(1−α)(γβ+1)c = \frac{1-\alpha^{\gamma+1}}{(1-\alpha)(\gamma\beta+1)} 两个闭式公式刻画。α\alpha 决定天花板,β\beta 决定地板,γ\gamma 存在有限最优。对一个在带宽墙上慢的大模型来说,这是少数”不改训练、不改架构、不改输出,只改调度”就能拿到两三倍加速的方法——代价是要维护一个跟得上目标的草稿来源,这正是 Medusa 与 EAGLE 一系变体持续在优化的地方。

一句话带走:当每一步的瓶颈是”把权重搬一遍”而不是”算一遍”时,让便宜的先猜、昂贵的只负责批量核对,是把串行账改成并行账最划算的一种方式——而且拒绝采样让你不用为这份便宜付任何质量代价。

13 📋 来源与核验记录

以下来源均于 2026-11-07 本轮实际打开核读(摘要页全文/文档页):

  1. Leviathan, Kalman, Matias. Fast Inference from Transformers via Speculative Decoding. arXiv:2211.17192. https://arxiv.org/abs/2211.17192 —— 投机解码原始论文之一;T5-XXL 2–3 倍加速、输出不变的口径取自其摘要。
  2. Chen et al. Accelerating Large Language Model Decoding with Speculative Sampling. arXiv:2302.01318. https://arxiv.org/abs/2302.01318 —— Chinchilla 70B、2–2.5 倍加速、修改后的拒绝采样方案取自其摘要;本文另通过 ar5iv 全文页 https://ar5iv.labs.arxiv.org/html/2302.01318 核读了其实验章节与草稿模型选择章节的表述,「接受率对采样参数稳健」与「草稿模型选择」两处口径出自该全文页。
  3. Li et al. EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty. arXiv:2401.15077. https://arxiv.org/abs/2401.15077 —— 特征层自回归观察、LLaMA2-Chat 70B 2.7–3.5 倍延迟加速取自其摘要。
  4. Cai et al. Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads. arXiv:2401.10774. https://arxiv.org/abs/2401.10774 —— 多解码头、树形注意力、Medusa-1/Medusa-2 两级微调取自其摘要。
  5. vLLM 官方文档《Speculative Decoding》. https://docs.vllm.ai/en/latest/features/speculative_decoding.html —— vLLM 已将投机解码列为正式特性的依据;本轮确认该特性页存在(latest 版),未实测其各后端,不断言其首次落地时间。
  6. NVIDIA H200 官方产品页. https://www.nvidia.com/en-us/data-center/h200/ —— 本文第 2 节 70B@H200 带宽账所引的 HBM3e 4.8 TB/s 规格来源;本轮打开核读。
  7. NVIDIA 性能文档《GPU Performance Background》. https://docs.nvidia.com/deeplearning/performance/dl-performance-gpu-background/index.html —— 第 2 节转折批量算例所引的 A100 312 TFLOPS(FP16)与 2039 GB/s(HBM2)两项规格来源;本轮打开核读。

本文自行推导/自算的部分(与官方数字分列):

  • 第 2 节的 70B@H200 带宽账(29.2 ms、约 34 token/s 上界)与第 5 节的完整算例(T_d≈0.46 ms、每轮 32.4 ms、约 97 token/s、加速约 2.8 倍)为本文按公开规格自算的示意值,假设权重全量加载,未计激活、KV 缓存与系统开销,仅用于量级说明。
  • 第 8 节高并发下的每 token 算力账(γ=4\gamma=4、α=0.7\alpha=0.7、草稿 1/20 时每 token 约 1.88 单位、吞吐降至基线约 53%)亦为本文自算示意。
  • 第 4 节的 EE 数值表、单轮全拒概率(α=0.7\alpha=0.7 时单轮约 30% 全拒、连续三轮不足 3%)、第 5 节的加速曲线与 γ=1…20\gamma = 1 \dots 20 整数扫描(最优 γ\gamma 为 5–6 平台)、收支平衡线推导,均为本文按闭式公式自算;α=0.7\alpha=0.7、β=0.05\beta=0.05 为本文选取的演示参数,非任何论文的实测配置。
  • 逐点恒等式 min⁡(p,q)+max⁡(0,p−q)=p\min(p,q)+\max(0,p-q)=p 与分布等价性证明为标准结果,本文按自己的顺序重写以便逐步核验。

版本与时效说明(截稿 2026-11-07):本文引用的 arXiv 版本为截稿当日摘要页所列的最新版——Leviathan et al. 引 v2(2023-05-18 修订)、Chen et al. 为 2023-02-02 提交版、Medusa 引 v3(2024-06-14)、EAGLE 引 v3(2025-03-04);各摘要页的提交/修订日期均于截稿当日重新打开核对。