RULER는 언어 모델의 긴 context 처리 능력을 재는 benchmark로, 2024년 NVIDIA 연구진이 발표했다. needle-in-a-haystack 과제를 확장해 여러 정보 검색, 다단계 추적, 집계, 질의응답 과제를 원하는 길이로 합성해 평가한다.
모델이 내세우는 최대 context 길이와 실제로 성능이 유지되는 길이의 차이를 드러내는 데 쓰이며, transformer와 linear attention 계열 모델의 긴 문맥 검색 능력을 비교하는 데도 쓰인다.