FlashAttention

플래시 어텐션

Transformer의 attention 계산에서 GPU 메모리 입출력을 줄여 속도와 메모리 효율을 높이는 정확한 attention 알고리즘이다.

기사 1편최근 언급

FlashAttention(플래시 어텐션)은 Transformer 모델의 attention 계산을 GPU 메모리 구조에 맞게 재구성해 속도를 높이고 메모리 사용량을 줄이는 알고리즘이다. 2022년 Tri Dao를 비롯한 스탠퍼드 대학교 연구진이 발표했다. 결과를 근사하지 않고 표준 attention과 같은 값을 계산하면서, 큰 attention 행렬을 GPU의 고대역폭 메모리에 쓰고 읽는 횟수를 줄이는 것이 핵심이다.

입력을 작은 블록으로 나눠 GPU의 빠른 온칩 메모리 안에서 계산을 끝내는 tiling 기법을 쓰며, 메모리 사용량이 sequence 길이의 제곱이 아니라 길이에 비례해 늘어난다. 이후 FlashAttention-2, FlashAttention-3가 발표됐고, PyTorch와 llama.cpp 등 주요 학습·추론 프레임워크가 지원해 긴 context를 다루는 LLM 학습과 추론에 널리 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 로컬 Qwen에 harness 4종 적용, 버그 수정 22~27개로 차이 작아AI 성능 ·

    context 크기 200,000 token, flash attention 사용, 실행 slot 1개( ), KV cache를 으로 양자화, batch 4096과 micro-batch 512, 방식의 speculative decoding(초안 token을 먼저 뽑아 생성 속도를 높이는…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.