位置嵌入

positional embedding

将词元位置信息编码为向量并加入输入,使transformer能够识别词元顺序的组件。

1篇文章最近提及

位置嵌入是将每个词元的位置信息转换为向量并加到输入嵌入上的组件,使transformer能够识别词元顺序。注意力运算本身不区分输入顺序,因此必须单独提供位置信息。它也称位置编码。

常见方式包括固定的正弦余弦函数、为每个位置学习向量,以及通过旋转query和key来反映相对位置的RoPE。模型只能正确解释训练时见过的位置范围,因此位置嵌入方式决定了上下文窗口长度的实际上限以及扩展到更长上下文的方法。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    加上位置嵌入,因为注意力本身是置换不变的:没有位置信息,模型无法分辨哪个可见 token 在前。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。