アテンション(attention)は、ニューラルネットワークが入力全体を均等に扱うのではなく、現在処理している要素と関連の強い部分により大きな重みを与えて情報を集約する仕組みである。2014年頃にニューラル機械翻訳で長文を扱うために導入され、2017年の論文「Attention Is All You Need」が提案したTransformerは再帰構造を持たずセルフアテンションのみで文脈を処理し、その後のLLMの標準的な構造となった。
LLMでは、入力の各トークンが他のトークンとどの程度関連するかを計算し、文脈を反映した表現を作るために用いられる。計算量が入力長の二乗に比例して増えるため、長いコンテキストウィンドウを扱うための効率化手法が併せて研究されている。心理学では特定の刺激に意識を集中する認知機能を指す。