Multi-Head Latent Attention(MLA)은 key와 value를 낮은 차원의 잠재(latent) 벡터로 압축해 저장하는 attention 변형으로, 2024년 DeepSeek이 DeepSeek-V2에서 발표했다. 추론 때 압축된 벡터만 KV cache에 보관하고 필요할 때 key와 value로 복원하므로 multi-head attention보다 KV cache 메모리를 크게 줄인다.
DeepSeek-V2, DeepSeek-V3, DeepSeek-R1 등에 쓰였으며, 긴 context를 다루는 모델에서 메모리 효율을 높이는 방법으로 다른 모델에도 채택되고 있다.