Multi-Head Latent Attention

멀티헤드 잠재 어텐션

key와 value를 낮은 차원의 잠재 벡터로 압축해 KV cache 메모리를 줄이는 attention 변형이다.

기사 1편최근 언급

Multi-Head Latent Attention(MLA)은 key와 value를 낮은 차원의 잠재(latent) 벡터로 압축해 저장하는 attention 변형으로, 2024년 DeepSeek이 DeepSeek-V2에서 발표했다. 추론 때 압축된 벡터만 KV cache에 보관하고 필요할 때 key와 value로 복원하므로 multi-head attention보다 KV cache 메모리를 크게 줄인다.

DeepSeek-V2, DeepSeek-V3, DeepSeek-R1 등에 쓰였으며, 긴 context를 다루는 모델에서 메모리 효율을 높이는 방법으로 다른 모델에도 채택되고 있다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    공개 frontier 모델인 Kimi K3도 Multi-Head Latent Attention과 KDA라는 linear attention 층을 함께 쓰는 하이브리드 구조로 소개됩니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.