换掉编码harness、保留同一个模型,修bug的成绩几乎不动。这是一项受控测试得出的主要结论:测试将同一个本地模型Qwen 3.8 27B接入四款不同的编码智能体——Claude Code、OpenCode、Pi和新推出的DeepSeek Harness。每种组合都在30分钟限时内处理来自SWE-rebench测试集的同样68个真实GitHub问题。Claude Code修复了27个,OpenCode和DeepSeek Harness各修复24个,Pi修复22个。差距小到可能只是随机波动,而非智能体逻辑上的真实差异。真正差别明显的,是让每款harness在本地服务器上正确跑起来需要多少工作,以及跑起来之后各自对GPU的利用效率。

测试内容与方法

harness是把语言模型变成自主智能体的软件层。它提供系统提示词、编辑文件和执行shell命令的工具,以及让模型持续工作直到任务完成的循环。模型不变,harness决定模型能看到什么、能做什么。

测试采用Unsloth提供的Qwen 3.8 27B UD Q4_K_XL GGUF文件,通过llama.cpp的llama-server提供服务。各组件版本均已固定:Claude Code 2.1.300、OpenCode 1.14.43、Pi 1.0.4、DeepSeek Harness 0.2.0-rc.2,以及llama.cpp构建版本b1-8ed274e。llama-server的配置也预先锁定:200,000 token上下文、开启flash attention、单槽位(-np 1)、q4_0量化的键值缓存、批大小4096和512、最多两个草稿token的draft MTP推测解码,以及用于聊天模板的--jinja参数。

每款harness收到的输入完全相同:SWE-rebench中的问题描述,加上一句要求在无人协助下修复问题的简短指令。任务来自pandas、scikit-learn、loguru、sqlfluff等Python代码库,并由智能体从未见过的隐藏测试套件自动评分。

68个任务乘以四款harness就是272次运行,每次最长30分钟。在单张RTX 3090 Ti上完成这些并不现实,因此所有运行在一台租用的云主机上并发执行,该机器配有八张英伟达RTX A6000 GPU,价格约为每小时$2.19。原计划测156个bug,受算力成本限制减至68个。

结果为何看起来像平局

harness 修复的bug数(共68个)
Claude Code 27
OpenCode 24
DeepSeek Harness 24
Pi 22

重叠情况比总数更能说明问题。逐个bug对比Claude Code与DeepSeek Harness,两者修复了相同的22个问题,也同样失败于相同的39个。Claude Code多修了5个DeepSeek Harness没修好的bug,DeepSeek Harness则多修了2个Claude Code没修好的。按照预先登记的判定规则做成对差距分析,六组harness配对中有五组可以排除大差距(定义为68个bug中超过14个)。小差距在统计上仍无法定论。

拼图块分成五堆,两端的两堆最高,四只手臂指向它们

▲ 无一解决与四款全解的bug分布

在全部四款harness中,33个bug无一解决,16个bug全部解决。只有7个bug恰好被一款harness解决,10个被两款解决,2个被三款解决。换句话说,68个bug中有49个无论由哪款智能体驾驭,结果都相同。决定成败的,似乎更多是单个bug本身的难度,而不是harness。

这些数字有两点需要注意。Qwen 3.8发布于许多基准问题创建之后,其训练数据中可能已包含部分解法,这可能压缩了harness之间的差异。另外,Claude Code是围绕Anthropic自家的Claude模型构建的,它搭配开放权重的Qwen模型时的表现,未必反映其搭配Claude时的水平。

必须先解决的四个配置问题

在任何基准跑起来之前,本地执行有四个问题需要处理。对于搭建本地环境的开发者来说,比分数更可能碰到的正是这些。

Claude Code无法启动

直接指向llama-server时,Claude Code立刻因Jinja模板异常崩溃:“System message must be at the beginning.”(系统消息必须位于开头)。较新版本的Claude Code会在对话中途注入系统消息,用来更新环境细节和token用量。而Qwen 3.8的默认聊天模板只接受位于上下文顶部的系统消息。

解决办法是在Claude Code和llama-server之间放一个小型Python代理,拦截中途出现的系统消息,将其改写为用<system-reminder>标签包裹的用户消息。显而易见的另一种做法——把这些消息并入最初的系统提示词——被刻意回避了。改动对话的开头会让服务器的KV缓存前缀在每一轮都失效。KV缓存是GPU存储的已处理token记录;如果提示词开头变了,整段缓存都无法复用,全部历史必须重新处理。

Claude Code的网页搜索依赖Anthropic的云端接口,无法与本地模型配合,但普通代码搜索可以通过bash命令回退方式工作。

每款harness都自定思考强度

每款harness都会悄悄在发出的请求里设置自己的推理和采样参数。Pi要求中等推理强度,DeepSeek Harness要求高强度,Claude Code要求高强度的自适应思考,而OpenCode把top_p硬编码为1.0,覆盖了Qwen推荐的0.9。旧版llama-server会忽略推理强度标签,新版则会透传,因此模型在每款工具下的行为本会各不相同。为了让比较只聚焦于智能体逻辑,代理被扩展为从每个请求中剥离temperature、top_p、top_k、reasoning、reasoning_effort、thinking和max_completion_tokens,交由服务器自身的配置做主。

一个槽位,一份缓存

设置-np 1后,llama-server只在缓存中保留一段对话。好几款harness会在后台发起附带调用,例如让模型为会话生成标题。在单槽位服务器上,这类附带调用会把主编码对话挤出缓存,下一轮就得从头重新处理全部历史。一个简单测试显示了这种影响:首次调用处理370个提示词token,命中缓存的重复调用只处理4个,而一旦另一个提示词占据了槽位,又回到370个。附带调用通过参数关闭:Claude Code使用CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC=1和DISABLE_AUTOUPDATER=1,OpenCode使用静态的--title。在多GPU租用机上,llama-server的内存提示词缓存每个实例还会占用多达8 GB并引发内存不足错误,因此用--cache-ram 0将其关闭。

OpenCode的搜索工具

测试容器无法访问互联网。OpenCode尝试从GitHub下载ripgrep发行版,在各次运行中累计失败107次,之后才回退到shell的grep。这一回退使每次运行多出一到两次模型调用,也意味着OpenCode是在专用搜索工具失灵的状态下跑完整个基准的。预先安装ripgrep可以避免这个问题。

上下文上限也各不相同。OpenCode、Pi和DeepSeek Harness会读取服务器的上下文大小,并在溢出前压缩对话。Claude Code对无法识别的模型默认按200,000 token处理,恰好与本次服务器一致。若运行的上下文更小,就必须手动设置最大上下文token数的环境变量。

token效率:harness真正的差异所在

在碰到第一个bug之前,每款harness就要把自己的指令和工具定义发给GPU。Pi的初始提示词最精简,为1,595个token,其后是DeepSeek Harness的2,948个、Claude Code的3,662个和OpenCode的8,665个。

放到完整运行上看,差距进一步拉大:

harness 每个bug平均处理的提示词token数
Pi 44,000
Claude Code 53,000
OpenCode 60,000
DeepSeek Harness 86,000

DeepSeek Harness处理的提示词token约为Pi的1.7倍,并且在68个bug中有54个超过Pi。原因是一项功能而非缺陷:中段剪枝。当某个工具返回一段很长的文件读取结果时,DeepSeek Harness会修剪这条早先结果的中间部分以节省上下文。在一次sqlfluff运行中,对errors.py的一次读取从8,257个字符缩减到5,159个,并带有“tool result middle pruned”(工具结果中段已剪枝)标记。但修改过去的消息会改变对话前缀,破坏服务器的KV缓存匹配,迫使全量重新处理。

阅读机内一条带剪接段的纸带倒回起点,旁边时钟在走

▲ 上下文剪枝导致提示词全量重算

缓存失效波及DeepSeek Harness 68次运行中的21次,约占其处理token总量的三分之一。

在高速GPU上,这件事的影响没有听起来那么大。所有运行中约97%的提示词token直接来自缓存,因此每个bug的提示词处理只需1.5至2.3分钟,而生成回复则耗时15.2至15.4分钟。在提示词处理较慢的硬件上,例如在无法复用缓存的情况下运行的Apple Mac系统,同样的缓存破坏行为很可能会大幅拉长实际耗时。跨如此不同架构的速度比较应当谨慎看待。

时限一变,赢家也变

在同一批运行上模拟更早的截止时间,排行榜就会重排。截止20分钟时,OpenCode以22个修复领先,Claude Code和Pi各17个,DeepSeek Harness 16个。截止28分钟时,Claude Code、OpenCode和DeepSeek Harness以23个并列。Claude Code最终的领先优势是在30分钟窗口的最后两分钟才出现的。由于运行时间会随硬件变化,这些截止点只是提示性的,并非定论。

Pi在sqlfluff第7617号问题上的一次运行,显示了硬性超时有多么脆弱。模型修好了bug,并在29分57秒确认四项测试全部通过,随后在30分00秒撰写总结时被终止。最终产生的diff通过了隐藏测试,但这次运行被记为失败。各harness往往在正确修改已经就位后,还要把最后四到五分钟花在反复验证上,这正是在长时间运行中应查看git diff、而不是等智能体自己宣布完成的理由。

为本地模型挑选harness

根据这次测试,每款harness各有鲜明特点。Claude Code的原始通过数最高,但优势微弱且可能只是噪声。Pi的token效率最高,送往GPU的负载最轻。DeepSeek Harness是唯一一款内置搜索工具在这套离线环境中正常工作的harness,代价是缓存失效带来的最大token量。OpenCode因缺少ripgrep而在搜索功能失灵的状态下运行。Qwen Code未参与测试,是未来比较的候选对象。

这些都不能证明哪款harness优于另一款。公平的智能体评测存在隐藏的混杂因素,而且每款harness都内置了围绕云API而非本地llama-server设计的假设。实际结论是:配置比选型更重要。将任意harness与本地模型搭配时的配置清单:

  1. 在服务器前放一个代理,把中途出现的系统消息降级为用户消息,不触碰提示词开头。
  2. 剥离客户端的采样和推理参数,让服务器配置对每款工具一致生效。
  3. 关闭会话标题生成等附带调用,让单槽位服务器把主对话留在缓存中。
  4. 让harness的上下文上限与推理服务器的实际上限保持一致。
  5. 在环境中预装ripgrep,离线运行时尤其如此。

正在搭建本地AI编码环境的开发者可以把这当作操作顺序:先把底层管道搞对,在自己的硬件上测量token用量和缓存行为,然后再去操心哪款harness名义上排第一。就这里的证据来看,摆在智能体面前的bug,比智能体本身更常决定结果。