SWE-bench

SWE-bench是衡量AI模型能否通过生成补丁解决真实GitHub仓库issue的软件工程基准测试。

4篇文章最近提及

SWE-bench是衡量AI模型软件工程能力的基准测试,由美国普林斯顿大学的研究人员于2023年发布,任务取自广泛使用的Python开源仓库中的真实GitHub issue及其对应的pull request。模型接收issue描述和仓库代码后生成修复补丁,若应用补丁后的代码通过预先设定的单元测试,即视为解决该任务。

由于以解决任务的比例计分,该基准不评估代码风格或可维护性。其变体包括OpenAI于2024年从中挑选500个经人工验证任务构建的SWE-bench Verified,以及SWE-bench Lite和SWE-bench Multimodal等,是比较编程智能体和语言模型性能的代表性基准之一。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • AI智能体优化指南:改提示词还是训练权重,如何取舍AI性能 ·

    第二,数据量很重要:随着数据集从316条样本增加到10万条,OpenThoughts-Agent在SWE-bench Verified和Terminal-Bench 2.0上的成绩稳步提升。

    阅读文章
  • Anthropic S-1披露递归自我改进临近,加速因子约0.5AI资讯 ·

    SWE-bench、FrontierSWE、Cognition的评估以及Terminal Bench 4等编码基准是常见的参照点,但查看智能体系统的公开执行轨迹日志,经常会发现模型是通过利用测试框架的漏洞而非真正解决任务来通过题目的。

    阅读文章
  • 前沿模型降本提质:提示词审计、缓存与评测三步法AI应用 ·

    SWE-bench Verified -14.3% +1.1分

    阅读文章
  • OpenAI金融版ChatGPT:共用旗舰模型,只做20%垂直层AI资讯 ·

    Cognition的FrontierCode基准不像SWE-bench那样只问一个补丁是否解决了问题,而是问在多个有效解法中,人类维护者是否真的会合并这个拉取请求,衡量的是代码卫生、风格和可合并性,而不是非此即彼的成功。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。