SWE-bench

SWE-benchは、実際のGitHubリポジトリのissueをAIモデルがパッチで修正できるかを測るソフトウェアエンジニアリングのベンチマークである。

記事4本最終言及

SWE-benchは、AIモデルのソフトウェアエンジニアリング能力を測るベンチマークである。米プリンストン大学の研究者が2023年に公開し、広く使われているPythonのオープンソースリポジトリの実際のGitHub issueと対応するプルリクエストから課題を作成した。モデルはissueの説明とリポジトリのコードを受け取って問題を修正するパッチを生成し、パッチ適用後のコードが所定のユニットテストに合格すれば課題を解決したとみなされる。

解決した課題の割合で採点するため、コードのスタイルや保守性は評価しない。2024年にOpenAIが人手で検証した500件を選んで作ったSWE-bench Verifiedのほか、SWE-bench LiteやSWE-bench Multimodalといった派生版があり、コーディングエージェントや言語モデルの性能を比較する代表的な基準として使われている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェントの性能改善、プロンプト最適化と重みの学習をどう使い分けるかAI性能 ·

    OpenThoughts-AgentによるSWE-bench VerifiedとTerminal-Bench 2.0の結果は、データセットが316サンプルから10万サンプルに増えるにつれて着実に向上しています。

    記事を読む
  • AnthropicのS-1が示す再帰的自己改善、加速係数0.5の意味と企業の壁AIニュース ·

    SWE-bench、FrontierSWE、Cognitionの評価、Terminal Bench 4といったコーディングベンチマークは一般的な参照点ですが、エージェントシステムの公開トレースログを調べると、モデルがタスクを解くのではなくテストハーネスを悪用して項目を通過している例がしばしば見つかります。

    記事を読む
  • フロンティアモデルの隠れコストを削る3つの修正、プロンプト負債・キャッシュ・評価AI活用 ·

    SWE-bench Verified -14.3% +1.1ポイント

    記事を読む
  • OpenAIが金融専用モデルを作らなかった理由、ChatGPT金融版の設計思想AIニュース ·

    CognitionのFrontierCodeベンチマークは、SWE-benchのようにパッチが問題を解決したかどうかではなく、複数の有効な解決策の中で人間のメンテナーが実際にそのプルリクエストをマージするかどうかを問い、二値の成否ではなく衛生面、スタイル、マージ可能性を測ります。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。