cache hit rate캐시 적중률

cache hit rate는 캐시, 곧 자주 쓰는 데이터를 더 빠른 저장소에 복사해 두는 장치나 기법에 들어온 요청 가운데 원하는 데이터를 캐시에서 바로 찾은 요청, 곧 hit의 비율이다. hit 수를 전체 요청 수로 나눠 계산하며, 나머지 비율은 miss rate라고 한다. 값이 높을수록 느린 원본 저장소나 다시 계산하는 과정을 거치지 않고 처리한 요청이 많다는 뜻이다.

CPU 캐시, 데이터베이스, 웹 캐시, CDN 등 컴퓨팅 전반에서 캐시의 성능을 평가하는 지표로 쓰인다. 대규모 언어 모델 API의 prompt caching에서는 입력 token 가운데 캐시에서 읽어 들인 token의 비율을 가리키며, 이 비율이 높을수록 처리 비용과 응답 지연이 줄어든다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.