マルチヘッドアテンション

multi-head attention

アテンションを複数のヘッドに分けて並列に計算し、結果を結合するtransformerの中核構造。

記事1本最終言及

マルチヘッドアテンションは、transformerにおいてアテンションを複数のヘッドに分けて並列に計算し、その出力を連結して投影する構造である。各ヘッドはquery、key、valueをそれぞれ異なる重みで投影し、トークン間の関係を異なる観点から学習する。2017年の論文「Attention Is All You Need」で提案された。

推論時にはヘッドごとにkeyとvalueをKVキャッシュに保存する必要があるため、メモリ負担が大きい。これを減らすために、複数のヘッドでkeyとvalueを共有するマルチクエリアテンションやグループクエリアテンション、keyとvalueを圧縮して保存するMulti-Head Latent Attentionなどの変種が使われる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    マルチヘッドアテンションは、Q、K、Vの射影を複数組並列に走らせ、出力を連結してより幅の広いWOで射影することで、モデルが異なる表現部分空間を同時に参照できるようにします。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。