KV cache(KV 캐시)는 Transformer 기반 언어 모델이 텍스트를 생성할 때, 이미 처리한 token의 attention key와 value 텐서를 GPU 메모리에 저장해 두고 다음 token을 만들 때 다시 쓰는 기법이자 그 저장 영역이다. 자기회귀 생성에서는 token을 하나 만들 때마다 앞선 모든 token에 attention을 계산해야 하는데, key와 value를 저장해 두면 새 token 하나에 대한 계산만 추가하면 된다.
KV cache의 크기는 context 길이와 모델의 층 수, attention head 수에 비례해 늘어나므로 긴 context를 다룰 때 GPU 메모리를 많이 차지한다. 이를 줄이기 위해 key와 value를 낮은 정밀도로 양자화하거나, 여러 요청이 같은 앞부분(prefix)을 공유하면 그 부분의 cache를 재사용하는 prefix caching이 쓰인다. 대화 앞부분이 바뀌면 그 지점부터의 cache는 다시 계산해야 한다.