prompt caching프롬프트 캐싱

prompt caching은 대규모 언어 모델 API에서 요청마다 되풀이되는 prompt의 앞부분, 곧 시스템 지시, 긴 문서, 지난 대화 기록 같은 내용을 서버에 저장해 두고 이후 요청에서 다시 쓰는 기법이다. 같은 내용을 처음부터 다시 처리하지 않으므로 입력 token의 처리 비용과 응답 지연을 줄일 수 있다. Google의 Gemini API는 같은 기능을 context caching이라고 부른다.

Anthropic, OpenAI, Google 같은 AI 기업이 API 기능으로 제공한다. 저장한 내용은 일정 시간 동안 쓰이지 않으면 만료되며, 만료 뒤에는 같은 내용을 다시 처리해야 한다. 긴 대화를 이어 가는 챗봇과 코딩 agent에서 널리 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.