位置埋め込み

positional embedding

transformerがトークンの順序を把握できるよう、位置情報をベクトルにして入力に加える要素。

記事1本最終言及

位置埋め込みは、transformerがトークンの順序を把握できるよう、各トークンの位置情報をベクトルに変換して入力埋め込みに加える要素である。アテンション演算自体は入力の順序を区別しないため、位置情報を別途与える必要がある。位置エンコーディングとも呼ばれる。

固定のsin・cos関数を使う方式、位置ごとにベクトルを学習する方式、queryとkeyを回転させて相対位置を反映するRoPEなどがある。モデルは学習時に見た範囲の位置しか正しく解釈できないため、位置埋め込みの方式がコンテキストウィンドウ長の実質的な上限と、長いコンテキストへ拡張する方法を決める。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    位置埋め込みを加えます。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。