マルチヘッドアテンションは、transformerにおいてアテンションを複数のヘッドに分けて並列に計算し、その出力を連結して投影する構造である。各ヘッドはquery、key、valueをそれぞれ異なる重みで投影し、トークン間の関係を異なる観点から学習する。2017年の論文「Attention Is All You Need」で提案された。
推論時にはヘッドごとにkeyとvalueをKVキャッシュに保存する必要があるため、メモリ負担が大きい。これを減らすために、複数のヘッドでkeyとvalueを共有するマルチクエリアテンションやグループクエリアテンション、keyとvalueを圧縮して保存するMulti-Head Latent Attentionなどの変種が使われる。