top-kサンプリングは、言語モデルが次のトークンを選ぶ際に確率上位k個の候補だけを残し、その中から確率に従ってサンプリングするデコーディング手法である。候補数がkに固定されるため、確率の極めて低いトークンが選ばれるのを防ぎつつ、貪欲法デコーディングより多様な出力を生む。
累積確率で候補を決めるtop-pとは異なり、分布の形に関係なく候補数が一定である。通常はtemperatureやtop-pと組み合わせて使われる。
次トークンの候補を確率上位k個に限定し、その中からサンプリングするデコーディング手法。
top-kサンプリングは、言語モデルが次のトークンを選ぶ際に確率上位k個の候補だけを残し、その中から確率に従ってサンプリングするデコーディング手法である。候補数がkに固定されるため、確率の極めて低いトークンが選ばれるのを防ぎつつ、貪欲法デコーディングより多様な出力を生む。
累積確率で候補を決めるtop-pとは異なり、分布の形に関係なく候補数が一定である。通常はtemperatureやtop-pと組み合わせて使われる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
数学やコードは低い温度を求め、創作的な文章は高いエントロピーを求めるため、通常はtop-pやtop-kと組み合わせます。
記事を読む事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。