ビームサーチ

beam search

各ステップで複数の候補トークン列を同時に保持し、全体の確率が高い出力を探すデコーディング手法。

記事1本最終言及

ビームサーチは、言語モデルがテキストを生成する際に、各ステップで確率の高い候補トークン列を一定数(ビーム幅)だけ同時に保持し、最終的に全体の確率が最も高い列を選ぶデコーディングアルゴリズムである。各ステップで最も確率の高いトークンを一つだけ選ぶ貪欲法デコーディングに比べ、文全体として確率の高い結果を見つけられるが、複数の候補状態を同時に計算するため時間とメモリのコストが大きい。

機械翻訳や音声認識のように正解に近い出力が比較的一つに定まるタスクで長く使われてきた。対話型LLMサービスでは、コストと多様性の問題から、temperature、top-k、top-pなどのサンプリングベースのデコーディングがより広く使われている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    ビームサーチ 複数の候補列を同時に追跡 列全体の尤度は高まるが、時間とメモリを大幅に消費

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。