推测解码

speculative decoding

由小型草稿模型先提出多个token、再由大模型并行验证,从而加速LLM生成的推理技术。

4篇文章最近提及

推测解码是一种加速大语言模型文本生成的推理技术。先由小而快的草稿模型提出若干个候选token,再由大的目标模型在一次前向传播中并行验证这些候选,接受匹配的前缀,并从第一个不匹配处起改用自身预测。只要接受规则设计得当,输出分布与目标模型单独生成时完全一致,从而在保持质量的同时减少串行步数。

该方法因Google和DeepMind研究人员在2022年至2023年间分别发表的论文而广为人知。自回归生成每生成一个token都要运行整个模型,受限于内存带宽而非算力;推测解码通过一次前向传播确定多个token来缓解这一瓶颈。其变体包括用附加在目标模型上的多token预测(MTP)头或n-gram猜测代替独立草稿模型,vLLM、llama.cpp等主流推理引擎均已支持。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    推测解码有助于缓解带宽瓶颈:一个小型草稿模型提出若干 token,目标模型在一次并行传递中验证它们,生成从第一个被拒绝的位置继续。

    阅读文章
  • DeepSeek开源推理引擎,V4.1-Flash编程成本降至十四分之一AI资讯 ·

    DeepInfer还包含DSpark投机解码、异步批调度,以及符合JSON Schema、正则表达式或语法规则的结构化输出。

    阅读文章
  • Qwen 3.8实测四款编码智能体:换harness不如调好配置AI性能 ·

    llama-server的配置也预先锁定:200,000 token上下文、开启flash attention、单槽位( )、q40量化的键值缓存、批大小4096和512、最多两个草稿token的draft MTP推测解码,以及用于聊天模板的 参数。

    阅读文章
  • 2比特Qwen 27B实测:16GB显卡能做应用和游戏,3D仍有短板AI性能 ·

    另有一个2.93GB的可选MTP(多token预测)草稿模型,可通过推测解码加快生成,即由辅助模型提前猜测几个token。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。