RULER

needle-in-a-haystack을 확장해 언어 모델의 긴 context 처리 능력을 다양한 길이로 재는 benchmark다.

기사 1편최근 언급

RULER는 언어 모델의 긴 context 처리 능력을 재는 benchmark로, 2024년 NVIDIA 연구진이 발표했다. needle-in-a-haystack 과제를 확장해 여러 정보 검색, 다단계 추적, 집계, 질의응답 과제를 원하는 길이로 합성해 평가한다.

모델이 내세우는 최대 context 길이와 실제로 성능이 유지되는 길이의 차이를 드러내는 데 쓰이며, transformer와 linear attention 계열 모델의 긴 문맥 검색 능력을 비교하는 데도 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    하지만 RULER benchmark 결과를 보면 Llama-2-7B 같은 표준 transformer는 8k 길이까지 높은 정확도를 유지하는 반면, RWKV-v5-7B와 Mamba-2.8B 같은 linear attention 모델은 2k~4k를 넘어서면 needle-in-a-haystac…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.