context bloat컨텍스트 블로트

context bloat는 대규모 언어 모델(LLM)에 넣는 입력, 곧 context에 긴 대화 기록, 많은 도구 정의, 큰 문서처럼 당장의 작업에 필요하지 않은 내용이 지나치게 쌓이는 현상을 가리킨다. 처리하는 token이 늘어 비용과 응답 시간이 커지고, 모델이 중요한 정보를 놓쳐 답의 품질이 떨어질 수 있다.

여러 도구를 연결한 AI agent에서 도구 설명이 context window의 상당 부분을 차지할 때 자주 생긴다. 지금 단계에 필요한 도구와 정보만 그때그때 불러오거나 오래된 기록을 요약하거나 지우는 방식으로 줄인다. 입력이 길어질수록 모델 성능이 떨어지는 현상은 context rot이라고 부른다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.