Multi-Head Latent Attention(MLA)は、keyとvalueを低次元の潜在ベクトルに圧縮して保存するアテンションの変種で、2024年にDeepSeekがDeepSeek-V2で発表した。推論時には圧縮したベクトルだけをKVキャッシュに保持し、必要なときにkeyとvalueへ復元するため、マルチヘッドアテンションよりKVキャッシュのメモリを大幅に減らせる。
DeepSeek-V2、DeepSeek-V3、DeepSeek-R1などに使われており、長いコンテキストを扱うモデルでメモリ効率を高める方法として他のモデルにも採用されている。