top-P

top-Pは、nucleus samplingとも呼ばれる言語モデルの生成設定である。モデルは次に来るトークンの候補を確率の高い順に並べ、確率の合計がtop-Pの値に達するまでの候補の中からだけ次のトークンを選ぶ。値が小さいほど出力は保守的で安定し、大きいほど多様になる。

出力のランダムさを調整するtemperatureと組み合わせて使われることが多い。temperatureが確率分布そのものを平らにしたり鋭くしたりするのに対し、top-Pは選べる候補の範囲を切り詰める点が異なる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。