ソフトマックスは、実数ベクトルを合計が1になる確率分布に変換する関数である。各値に指数関数を適用し、その総和で割るため、大きい値ほど大きな確率を持つ。
言語モデルでは最終層のロジットを語彙全体に対する次トークン確率に変換するのに使われ、アテンションではqueryとkeyのスコアを重みとして正規化するのに使われる。temperatureはソフトマックスに入れる前にロジットを割る値で、分布の尖り具合を調節する。
ソフトマックス
実数ベクトルを合計1の確率分布に変換する関数で、次トークン確率やアテンション重みの計算に使われる。
ソフトマックスは、実数ベクトルを合計が1になる確率分布に変換する関数である。各値に指数関数を適用し、その総和で割るため、大きい値ほど大きな確率を持つ。
言語モデルでは最終層のロジットを語彙全体に対する次トークン確率に変換するのに使われ、アテンションではqueryとkeyのスコアを重みとして正規化するのに使われる。temperatureはソフトマックスに入れる前にロジットを割る値で、分布の尖り具合を調節する。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
温度(temperature)は、softmaxが合計1になるよう再正規化する前の生のロジットに適用する除数です。
記事を読む事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。