multi-head attention은 transformer에서 attention을 여러 개의 head로 나눠 병렬로 계산한 뒤 결과를 이어 붙여 투영하는 구조다. 각 head는 query, key, value를 서로 다른 가중치로 투영해 token 사이의 관계를 서로 다른 관점에서 학습한다. 2017년 논문 'Attention Is All You Need'에서 제안됐다.
추론 때 head마다 key와 value를 KV cache에 저장해야 하므로 메모리 부담이 크다. 이를 줄이려고 여러 head가 key와 value를 공유하는 multi-query attention, grouped-query attention과 key·value를 압축해 저장하는 Multi-Head Latent Attention 같은 변형이 쓰인다.