SWE-rebench

Nebius推出的软件工程基准测试,持续收集GitHub上的真实issue来评估编码智能体。

1篇文章最近提及

SWE-rebench是一个评估基于LLM的编码智能体解决真实软件缺陷和功能需求能力的基准测试,由云计算公司Nebius的研究人员于2025年发布。它从公开GitHub仓库的issue及其对应的已合并pull request中自动构建任务,并用隐藏测试对智能体生成的代码修改进行评分。

它采用与广泛使用的SWE-bench相同的形式,但不固定任务集,而是持续加入最新的issue,以减少答案混入模型训练数据的污染问题。任务主要来自Python仓库,并设有比较各模型成绩的公开排行榜。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • Qwen 3.8实测四款编码智能体:换harness不如调好配置AI性能 ·

    每种组合都在30分钟限时内处理来自SWE-rebench测试集的同样68个真实GitHub问题。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。