Needle-in-a-Haystack니들 인 어 헤이스택
Needle-in-a-Haystack은 긴 문서 속에 숨긴 짧은 정보를 언어 모델이 찾아내는지 보는 긴 context 평가 방법이다.
기사 1편
최근 언급 Needle-in-a-Haystack 평가는 관계없는 긴 글 사이의 여러 위치에 특정 문장이나 암호를 넣고, 모델에게 그 내용을 찾게 한다. context 길이와 숨긴 위치에 따라 정답률을 재며, 대규모 언어 모델의 context window를 실제로 얼마나 활용하는지 확인하는 데 쓰인다.
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.