SWE-rebench是一个评估基于LLM的编码智能体解决真实软件缺陷和功能需求能力的基准测试,由云计算公司Nebius的研究人员于2025年发布。它从公开GitHub仓库的issue及其对应的已合并pull request中自动构建任务,并用隐藏测试对智能体生成的代码修改进行评分。
它采用与广泛使用的SWE-bench相同的形式,但不固定任务集,而是持续加入最新的issue,以减少答案混入模型训练数据的污染问题。任务主要来自Python仓库,并设有比较各模型成绩的公开排行榜。
Nebius推出的软件工程基准测试,持续收集GitHub上的真实issue来评估编码智能体。
SWE-rebench是一个评估基于LLM的编码智能体解决真实软件缺陷和功能需求能力的基准测试,由云计算公司Nebius的研究人员于2025年发布。它从公开GitHub仓库的issue及其对应的已合并pull request中自动构建任务,并用隐藏测试对智能体生成的代码修改进行评分。
它采用与广泛使用的SWE-bench相同的形式,但不固定任务集,而是持续加入最新的issue,以减少答案混入模型训练数据的污染问题。任务主要来自Python仓库,并设有比较各模型成绩的公开排行榜。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
每种组合都在30分钟限时内处理来自SWE-rebench测试集的同样68个真实GitHub问题。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。