FlashAttention(플래시 어텐션)은 Transformer 모델의 attention 계산을 GPU 메모리 구조에 맞게 재구성해 속도를 높이고 메모리 사용량을 줄이는 알고리즘이다. 2022년 Tri Dao를 비롯한 스탠퍼드 대학교 연구진이 발표했다. 결과를 근사하지 않고 표준 attention과 같은 값을 계산하면서, 큰 attention 행렬을 GPU의 고대역폭 메모리에 쓰고 읽는 횟수를 줄이는 것이 핵심이다.
입력을 작은 블록으로 나눠 GPU의 빠른 온칩 메모리 안에서 계산을 끝내는 tiling 기법을 쓰며, 메모리 사용량이 sequence 길이의 제곱이 아니라 길이에 비례해 늘어난다. 이후 FlashAttention-2, FlashAttention-3가 발표됐고, PyTorch와 llama.cpp 등 주요 학습·추론 프레임워크가 지원해 긴 context를 다루는 LLM 학습과 추론에 널리 쓰인다.