制約付きデコーディング

constrained decoding

JSONスキーマや文法などの形式規則に合うトークンだけを生成するよう言語モデルの出力を制限する手法。

記事1本最終言及

制約付きデコーディングは、言語モデルがトークンを生成する際に、JSONスキーマ、文法、正規表現などの形式規則に合うトークンだけを選べるように確率分布を制限する手法である。各ステップで規則に反するトークンの確率をゼロにし、出力が所定の構造に必ず従うようにする。

構造化出力、関数呼び出し、ツール利用など、モデル出力をプログラムがそのまま読み取るエージェント用途で使われる。Outlines、SGLang、vLLMなどのライブラリや推論エンジンが形式を有限状態機械に変換して実装しており、規則上トークンが一意に決まる箇所ではモデル呼び出しを省略して処理速度を高めることもある。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    制約付きデコーディングは、生成を正規表現やJSONスキーマに従わせます。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。