投機的デコーディングは、大規模言語モデルのテキスト生成を高速化する推論手法である。小さく高速なドラフトモデルが次の数トークンを先に提案し、大きなターゲットモデルがその候補を1回のフォワードパスで並列に検証して、一致した部分を受け入れ、最初に外れた箇所以降を自身の予測で置き換える。受け入れ規則を適切に設計すれば出力分布はターゲットモデル単独で生成した場合と同一になり、品質を保ちながら逐次ステップ数を減らせる。
2022年から2023年にかけてGoogleとDeepMindの研究者がそれぞれ発表した論文で広く知られるようになった。自己回帰生成はトークン1つごとにモデル全体を実行する必要があり、計算よりメモリ帯域に制約されるが、投機的デコーディングは1回のフォワードパスで複数トークンを確定することでこのボトルネックを緩和する。独立したドラフトモデルの代わりに、ターゲットモデルに付加したマルチトークン予測(MTP)ヘッドやn-gram推定でドラフトを作る派生手法もあり、vLLMやllama.cppなど主要な推論エンジンが対応している。