IFBench는 Allen Institute for AI 등의 연구진이 2025년에 공개한 benchmark(성능 비교 시험)로, 언어 모델이 지시에 담긴 제약 조건을 얼마나 정확히 따르는지 평가한다. 글의 길이나 특정 낱말의 사용 횟수처럼 코드로 자동 검증할 수 있는 출력 제약을 과제에 붙이고 준수 여부를 판정한다. 기존 benchmark에서 흔히 쓰이지 않은 새로운 제약을 넣어, 모델이 처음 보는 유형의 지시에도 대응하는지 확인하도록 설계했다.
IFBench
언어 모델이 출력에 걸린 제약 조건을 얼마나 정확히 지키는지 재는 지시 이행 benchmark다.
기사 1편최근 언급
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.
이 항목을 다룬 기사
prompt 최적화와 가중치 학습, AI agent에 무엇을 먼저 쓸까AI 성능 ·
GEPA 연구에서 prompt 최적화는 HotpotQA와 IFBench에서 수백 번의 실행 안에 수렴했고, GRPO 같은 강화학습보다 표본 효율이 훨씬 높았습니다.
기사 읽기