softmax

ソフトマックス

実数ベクトルを合計1の確率分布に変換する関数で、次トークン確率やアテンション重みの計算に使われる。

記事1本最終言及

ソフトマックスは、実数ベクトルを合計が1になる確率分布に変換する関数である。各値に指数関数を適用し、その総和で割るため、大きい値ほど大きな確率を持つ。

言語モデルでは最終層のロジットを語彙全体に対する次トークン確率に変換するのに使われ、アテンションではqueryとkeyのスコアを重みとして正規化するのに使われる。temperatureはソフトマックスに入れる前にロジットを割る値で、分布の尖り具合を調節する。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    温度(temperature)は、softmaxが合計1になるよう再正規化する前の生のロジットに適用する除数です。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。