semantic cache

시맨틱 캐시

질의의 의미적 유사성을 기준으로 이전 응답을 재사용하는 캐시로, LLM 애플리케이션의 비용과 지연을 줄이는 데 쓰인다.

기사 1편최근 언급

semantic cache(시맨틱 캐시)는 질의의 의미적 유사성을 기준으로 이전 응답을 재사용하는 캐시다. 문자열이 정확히 일치할 때만 저장된 결과를 돌려주는 기존 캐시와 달리, 질의를 embedding 벡터로 변환해 유사도가 임계값 이상인 과거 질의가 있으면 그 응답을 돌려준다.

LLM 애플리케이션에서 표현만 다른 비슷한 질문이 반복될 때 모델 호출을 줄여 비용과 응답 지연을 낮추는 용도로 쓰이며, GPTCache 같은 오픈소스 구현과 벡터 데이터베이스 기반 구현이 있다. 유사도 임계값을 느슨하게 잡으면 뜻이 다른 질문에 이전 답을 잘못 돌려줄 수 있어, 정확 일치 캐시와 함께 두거나 검증 단계를 추가하는 경우가 많다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • agent의 차이는 모델이 아니라 intelligence plane에서 난다AI 활용 ·

    …세션 안에서 쓰이는 단기 memory에는 context window에 해당하는 working memory와 반복 질의를 처리하는 semantic cache가 있고, 세션을 넘어 유지되는 장기 memory는 사실과 지식을 담는 semantic memory, 과거 사건을 기록하는 epis…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.