SWE-rebench

Nebius가 만든 소프트웨어 공학 benchmark로, GitHub의 실제 issue를 계속 새로 수집해 코딩 agent를 평가한다.

기사 1편최근 언급

SWE-rebench는 LLM 기반 코딩 agent가 실제 소프트웨어 버그와 기능 요청을 해결하는 능력을 평가하는 benchmark다. 클라우드 기업 Nebius의 연구진이 2025년에 공개했다. 공개 GitHub 저장소의 issue와 그것을 해결한 pull request를 자동으로 수집해 과제로 만들고, agent가 만든 코드 수정을 숨겨진 테스트로 채점한다.

널리 쓰이는 SWE-bench와 같은 형식이지만, 과제를 한 번 고정하지 않고 최신 issue를 지속적으로 추가해 모델 학습 데이터에 해답이 포함되는 오염 문제를 줄이려는 점이 특징이다. 주로 Python 저장소에서 과제를 뽑으며, 모델별 성적을 비교하는 공개 leaderboard를 운영한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 로컬 Qwen에 harness 4종 적용, 버그 수정 22~27개로 차이 작아AI 성능 ·

    …3.8 27B 하나를 Claude Code, OpenCode, Pi, 그리고 새로 나온 DeepSeek Harness에 각각 연결해 SWE-rebench의 실제 GitHub 버그 68개를 풀게 한 실험에서, 네 도구가 고친 버그 수는 27개, 24개, 24개, 22개로 거의 붙어 있었습…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.