SWE-benchは、AIモデルのソフトウェアエンジニアリング能力を測るベンチマークである。米プリンストン大学の研究者が2023年に公開し、広く使われているPythonのオープンソースリポジトリの実際のGitHub issueと対応するプルリクエストから課題を作成した。モデルはissueの説明とリポジトリのコードを受け取って問題を修正するパッチを生成し、パッチ適用後のコードが所定のユニットテストに合格すれば課題を解決したとみなされる。
解決した課題の割合で採点するため、コードのスタイルや保守性は評価しない。2024年にOpenAIが人手で検証した500件を選んで作ったSWE-bench Verifiedのほか、SWE-bench LiteやSWE-bench Multimodalといった派生版があり、コーディングエージェントや言語モデルの性能を比較する代表的な基準として使われている。