OOLONG

긴 context 전체에 흩어진 정보를 읽고 종합해 답하는 능력을 재는 long-context benchmark다.

기사 1편최근 언급

OOLONG은 언어 모델이 긴 context 전체에 흩어진 정보를 읽고 종합해 답하는 능력을 재는 long-context benchmark로, 2025년에 공개됐다. 특정 문장 하나를 찾는 needle-in-a-haystack 과제와 달리 context 안의 많은 항목을 하나하나 처리해 집계하거나 추론해야 하는 과제로 이뤄진다.

context 길이가 길어질수록 모델 점수가 크게 떨어지는 현상을 보여 주는 데 쓰이며, long-context 처리 기법을 평가하는 데 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    여러 문서를 읽고 종합하는 OOLONG benchmark에서 context를 8k에서 512k token으로 늘리면 Gemini 2.5 Pro, Claude Sonnet 4, GPT-5 같은 최신 모델의 점수가 약 90%에서 10~40% 수준까지 떨어집니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.