KV cache

KV 캐시

Transformer 모델이 생성 중 이미 처리한 token의 key와 value 값을 저장해 재계산을 피하는 메모리 영역이다.

기사 4편최근 언급

KV cache(KV 캐시)는 Transformer 기반 언어 모델이 텍스트를 생성할 때, 이미 처리한 token의 attention key와 value 텐서를 GPU 메모리에 저장해 두고 다음 token을 만들 때 다시 쓰는 기법이자 그 저장 영역이다. 자기회귀 생성에서는 token을 하나 만들 때마다 앞선 모든 token에 attention을 계산해야 하는데, key와 value를 저장해 두면 새 token 하나에 대한 계산만 추가하면 된다.

KV cache의 크기는 context 길이와 모델의 층 수, attention head 수에 비례해 늘어나므로 긴 context를 다룰 때 GPU 메모리를 많이 차지한다. 이를 줄이기 위해 key와 value를 낮은 정밀도로 양자화하거나, 여러 요청이 같은 앞부분(prefix)을 공유하면 그 부분의 cache를 재사용하는 prefix caching이 쓰인다. 대화 앞부분이 바뀌면 그 지점부터의 cache는 다시 계산해야 한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    그런데도 아래층의 KV cache, attention 변형, decoding 알고리즘을 알아야 하는 까닭은 분명합니다.

    기사 읽기
  • 16GB VRAM에서 128k context, 3비트 Qwen 27B 실측 결과AI 성능 ·

    이 크기여야 16GB VRAM에 모델이 여유 있게 들어가면서, KV cache(이전 token의 계산 결과를 저장해 두는 메모리)를 Q8로 압축해 128k context 전체를 함께 올릴 수 있습니다.

    기사 읽기
  • DeepSeek, 서빙 엔진 DeepInfer 공개와 $2.10 코딩 비용AI 뉴스 ·

    실제 온라인 서비스에 꼭 필요한 KV cache(이전 계산 결과를 저장해 재사용하는 메모리) 관리 시스템, prefill과 decode를 서로 다른 장비로 나누는 분리 서빙, 복제본 사이의 부하 분산은 이번 공개에서 빠졌습니다.

    기사 읽기
  • 로컬 Qwen에 harness 4종 적용, 버그 수정 22~27개로 차이 작아AI 성능 ·

    context 크기 200,000 token, flash attention 사용, 실행 slot 1개( ), KV cache를 으로 양자화, batch 4096과 micro-batch 512, 방식의 speculative decoding(초안 token을 먼저 뽑아 생성 속도를 높이는…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.