貪欲法デコーディングは、言語モデルがテキストを生成する際に各ステップで最も確率の高いトークンを一つ選ぶ、最も単純なデコーディング手法である。同じ入力に対して常に同じ出力を返す決定的な方式で、temperatureをゼロにする設定と実質的に同じである。
各ステップの最善が文全体の最善とは限らないため、反復的で単調な文章になりやすい。これを補うためにビームサーチやtop-k、top-pなどのサンプリング手法が使われる。
貪欲法デコーディング
各ステップで最も確率の高いトークンを一つ選ぶ、最も単純な言語モデルのデコーディング手法。
貪欲法デコーディングは、言語モデルがテキストを生成する際に各ステップで最も確率の高いトークンを一つ選ぶ、最も単純なデコーディング手法である。同じ入力に対して常に同じ出力を返す決定的な方式で、temperatureをゼロにする設定と実質的に同じである。
各ステップの最善が文全体の最善とは限らないため、反復的で単調な文章になりやすい。これを補うためにビームサーチやtop-k、top-pなどのサンプリング手法が使われる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
低い値はピークを鋭くして貪欲法(greedy decoding)に近い振る舞いへ寄せ、高い値は分布を平らにして出にくいトークンを持ち上げます。
記事を読む事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。