注意力(attention)是一种神经网络机制:模型不再平均对待全部输入,而是给与当前处理元素关联更强的部分分配更大权重来汇聚信息。它在2014年前后被引入神经机器翻译以处理长句;2017年论文《Attention Is All You Need》提出的Transformer仅靠自注意力、不依赖循环结构来处理上下文,成为此后LLM的标准架构。
在LLM中,注意力用于计算输入中每个token与其他token的关联强度,从而生成包含上下文信息的表示。由于计算量随输入长度呈平方增长,处理长上下文窗口的效率优化技术也是研究重点。在心理学中,该词指将意识集中于特定刺激的认知能力。