投機的デコーディング

speculative decoding

小さなドラフトモデルが複数トークンを先に提案し、大きなモデルが一括検証することでLLMの生成を高速化する推論手法。

記事3本最終言及

投機的デコーディングは、大規模言語モデルのテキスト生成を高速化する推論手法である。小さく高速なドラフトモデルが次の数トークンを先に提案し、大きなターゲットモデルがその候補を1回のフォワードパスで並列に検証して、一致した部分を受け入れ、最初に外れた箇所以降を自身の予測で置き換える。受け入れ規則を適切に設計すれば出力分布はターゲットモデル単独で生成した場合と同一になり、品質を保ちながら逐次ステップ数を減らせる。

2022年から2023年にかけてGoogleとDeepMindの研究者がそれぞれ発表した論文で広く知られるようになった。自己回帰生成はトークン1つごとにモデル全体を実行する必要があり、計算よりメモリ帯域に制約されるが、投機的デコーディングは1回のフォワードパスで複数トークンを確定することでこのボトルネックを緩和する。独立したドラフトモデルの代わりに、ターゲットモデルに付加したマルチトークン予測(MTP)ヘッドやn-gram推定でドラフトを作る派生手法もあり、vLLMやllama.cppなど主要な推論エンジンが対応している。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    投機的デコーディングは帯域のボトルネックを緩和します。

    記事を読む
  • DeepSeekがV4.1-Flashと推論エンジン公開、コーディング費用は14分の1にAIニュース ·

    DeepInferにはこのほか、DSpark投機的デコーディング、非同期バッチスケジューリング、JSONスキーマや正規表現、文法に準拠した構造化出力も含まれます。

    記事を読む
  • ローカルLLMでコーディングエージェント4種を比較、修正数の差はわずかAI性能 ·

    コンテキスト長は20万トークン、フラッシュアテンション有効、スロットは1つ( )、キーと値のキャッシュはq40で量子化、バッチサイズは4096と512、ドラフトトークン最大2つのMTP投機的デコーディング、そしてチャットテンプレート用の フラグです。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。