SWE-bench是衡量AI模型软件工程能力的基准测试,由美国普林斯顿大学的研究人员于2023年发布,任务取自广泛使用的Python开源仓库中的真实GitHub issue及其对应的pull request。模型接收issue描述和仓库代码后生成修复补丁,若应用补丁后的代码通过预先设定的单元测试,即视为解决该任务。
由于以解决任务的比例计分,该基准不评估代码风格或可维护性。其变体包括OpenAI于2024年从中挑选500个经人工验证任务构建的SWE-bench Verified,以及SWE-bench Lite和SWE-bench Multimodal等,是比较编程智能体和语言模型性能的代表性基准之一。