推测解码是一种加速大语言模型文本生成的推理技术。先由小而快的草稿模型提出若干个候选token,再由大的目标模型在一次前向传播中并行验证这些候选,接受匹配的前缀,并从第一个不匹配处起改用自身预测。只要接受规则设计得当,输出分布与目标模型单独生成时完全一致,从而在保持质量的同时减少串行步数。
该方法因Google和DeepMind研究人员在2022年至2023年间分别发表的论文而广为人知。自回归生成每生成一个token都要运行整个模型,受限于内存带宽而非算力;推测解码通过一次前向传播确定多个token来缓解这一瓶颈。其变体包括用附加在目标模型上的多token预测(MTP)头或n-gram猜测代替独立草稿模型,vLLM、llama.cpp等主流推理引擎均已支持。