attention(어텐션)은 신경망이 입력 전체를 같은 비중으로 다루지 않고, 현재 처리하는 요소와 관련이 큰 부분에 더 큰 가중치를 두어 정보를 모으는 기법이다. 2014년 무렵 신경망 기계 번역에서 긴 문장을 다루기 위해 도입됐고, 2017년 논문 'Attention Is All You Need'가 제안한 Transformer는 순환 구조 없이 self-attention만으로 문맥을 처리해 이후 LLM의 표준 구조가 됐다.
LLM에서는 입력의 각 token이 다른 token과 얼마나 관련 있는지를 계산해 문맥을 반영한 표현을 만드는 데 쓰인다. 계산량이 입력 길이의 제곱에 비례해 늘어나므로 긴 context window를 다루기 위한 효율화 기법이 함께 연구된다. 심리학에서는 특정 자극에 의식을 집중하는 인지 기능을 가리킨다.