SWE-bench

실제 GitHub 저장소의 issue를 AI 모델이 patch로 고칠 수 있는지 재는 소프트웨어 엔지니어링 benchmark다.

기사 5편최근 언급

SWE-bench는 AI 모델의 소프트웨어 엔지니어링 능력을 재는 benchmark(성능 평가 기준)다. 미국 프린스턴대학교 연구진이 2023년 공개했으며, 널리 쓰이는 Python 오픈소스 저장소의 실제 GitHub issue와 그에 대응하는 pull request에서 과제를 만들었다. 모델은 issue 설명과 저장소 코드를 받아 문제를 고치는 patch를 생성하고, 그 patch를 적용한 코드가 미리 정해진 단위 테스트를 통과하면 과제를 해결한 것으로 친다.

문제를 푼 비율로 점수를 매기는 방식이어서 코드 스타일이나 유지보수성은 평가하지 않는다. 2024년 OpenAI가 사람이 검증한 500개 과제를 추려 만든 SWE-bench Verified를 비롯해 SWE-bench Lite, SWE-bench Multimodal 같은 변형이 있으며, 코딩 agent와 언어 모델의 성능을 비교하는 대표적 기준으로 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • prompt 최적화와 가중치 학습, AI agent에 무엇을 먼저 쓸까AI 성능 ·

    학습 데이터를 316건에서 10만 건으로 늘리자 SWE-bench Verified와 Terminal-Bench 2.0 점수가 꾸준히 올랐습니다.

    기사 읽기
  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    …검증할 수 있는 영역에서는 RLVR(검증 가능한 보상을 쓰는 강화 학습)이 쓰이며, 실제 GitHub 저장소에 버그를 심어 학습 과제를 만드는 SWE-Smith로 Qwen-2.5 32B를 학습시켰을 때 SWE-bench Verified 점수가 약 9%에서 약 40%로 올랐다고 합니다.

    기사 읽기
  • S-1 공시로 본 RSI 기준, 연구 생산성 2배는 자기 가속의 절반AI 뉴스 ·

    SWE-bench, FrontierSWE, Terminal Bench 4 같은 코딩 평가가 흔히 비교 기준으로 쓰이는데, agent 시스템의 공개 실행 기록을 들여다보면 모델이 문제를 제대로 푸는 대신 테스트 환경의 허점을 이용해 통과하는 reward hacking(평가 기준의 빈틈을…

    기사 읽기
  • prompt 부채 정리와 cache 설계로 Claude 비용 최대 72.9% 절감AI 활용 ·

    SWE-bench Verified -14.3% +1.1%p

    기사 읽기
  • OpenAI 금융용 ChatGPT, 전용 모델 없이 만든 설계 원칙AI 뉴스 ·

    SWE-bench가 생성된 patch가 문제를 고쳤는지를 보는 반면, Cognition의 FrontierCode는 여러 유효한 해법 가운데 사람 maintainer가 실제로 merge할 만한 pull request인지, 곧 코드 위생과 스타일 준수까지 봅니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.