SWE-bench는 AI 모델의 소프트웨어 엔지니어링 능력을 재는 benchmark(성능 평가 기준)다. 미국 프린스턴대학교 연구진이 2023년 공개했으며, 널리 쓰이는 Python 오픈소스 저장소의 실제 GitHub issue와 그에 대응하는 pull request에서 과제를 만들었다. 모델은 issue 설명과 저장소 코드를 받아 문제를 고치는 patch를 생성하고, 그 patch를 적용한 코드가 미리 정해진 단위 테스트를 통과하면 과제를 해결한 것으로 친다.
문제를 푼 비율로 점수를 매기는 방식이어서 코드 스타일이나 유지보수성은 평가하지 않는다. 2024년 OpenAI가 사람이 검증한 500개 과제를 추려 만든 SWE-bench Verified를 비롯해 SWE-bench Lite, SWE-bench Multimodal 같은 변형이 있으며, 코딩 agent와 언어 모델의 성능을 비교하는 대표적 기준으로 쓰인다.