位置埋め込みは、transformerがトークンの順序を把握できるよう、各トークンの位置情報をベクトルに変換して入力埋め込みに加える要素である。アテンション演算自体は入力の順序を区別しないため、位置情報を別途与える必要がある。位置エンコーディングとも呼ばれる。
固定のsin・cos関数を使う方式、位置ごとにベクトルを学習する方式、queryとkeyを回転させて相対位置を反映するRoPEなどがある。モデルは学習時に見た範囲の位置しか正しく解釈できないため、位置埋め込みの方式がコンテキストウィンドウ長の実質的な上限と、長いコンテキストへ拡張する方法を決める。