SWE-rebench는 LLM 기반 코딩 agent가 실제 소프트웨어 버그와 기능 요청을 해결하는 능력을 평가하는 benchmark다. 클라우드 기업 Nebius의 연구진이 2025년에 공개했다. 공개 GitHub 저장소의 issue와 그것을 해결한 pull request를 자동으로 수집해 과제로 만들고, agent가 만든 코드 수정을 숨겨진 테스트로 채점한다.
널리 쓰이는 SWE-bench와 같은 형식이지만, 과제를 한 번 고정하지 않고 최신 issue를 지속적으로 추가해 모델 학습 데이터에 해답이 포함되는 오염 문제를 줄이려는 점이 특징이다. 주로 Python 저장소에서 과제를 뽑으며, 모델별 성적을 비교하는 공개 leaderboard를 운영한다.