マルチヘッド潜在アテンション

Multi-Head Latent Attention

keyとvalueを低次元の潜在ベクトルに圧縮してKVキャッシュのメモリを減らすアテンションの変種。

記事2本最終言及

Multi-Head Latent Attention(MLA)は、keyとvalueを低次元の潜在ベクトルに圧縮して保存するアテンションの変種で、2024年にDeepSeekがDeepSeek-V2で発表した。推論時には圧縮したベクトルだけをKVキャッシュに保持し、必要なときにkeyとvalueへ復元するため、マルチヘッドアテンションよりKVキャッシュのメモリを大幅に減らせる。

DeepSeek-V2、DeepSeek-V3、DeepSeek-R1などに使われており、長いコンテキストを扱うモデルでメモリ効率を高める方法として他のモデルにも採用されている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    オープンなフロンティアモデルであるKimi K3は、Multi-Head Latent AttentionとKDA線形層、安定化したレイヤー正規化、フィードフォワードブロックを組み合わせ、生成中のメモリをゲーティングで制御しています。

    記事を読む
  • DeepSeekがV4.1-Flashと推論エンジン公開、コーディング費用は14分の1にAIニュース ·

    FlashMLA:マルチヘッド潜在アテンション向けのGPUカーネルライブラリ

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。