SWE-rebench

Nebiusが開発したソフトウェア工学ベンチマークで、GitHubの実際のissueを継続的に収集してコーディングエージェントを評価する。

記事1本最終言及

SWE-rebenchは、LLMベースのコーディングエージェントが実際のソフトウェアのバグや機能要望をどれだけ解決できるかを評価するベンチマークである。クラウド企業Nebiusの研究者らが2025年に公開した。公開GitHubリポジトリのissueとそれを解決したプルリクエストから自動的に課題を生成し、エージェントが作成したコード修正を非公開のテストで採点する。

広く使われるSWE-benchと同じ形式だが、課題集合を一度固定するのではなく最新のissueを継続的に追加することで、モデルの学習データに解答が含まれる汚染の問題を軽減しようとする点が特徴である。課題は主にPythonリポジトリから抽出され、モデルごとの成績を比較する公開リーダーボードが運営されている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • ローカルLLMでコーディングエージェント4種を比較、修正数の差はわずかAI性能 ·

    それぞれの組み合わせに、SWE-rebenchスイートから選んだ同一の68件の実在するGitHub issueを、30分の制限時間で取り組ませました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。