一项受控基准测试在9类编程与数据任务上进行了82次封闭运行,结果显示,网上广为流传的Claude Code“团队”配置——由Claude Fable 5.2统筹指挥、Claude Opus 5.5编写代码、Claude Sonnet 5.5负责测试、Claude Haiku 5.5探查代码库——产出的质量与单独运行一个Opus 5.5会话相同,成本却高出3.5至4.5倍,耗时最多达6倍。9项任务中只有一项(8个互不相关的代码库)对团队更有利,而且即便如此,省下的时间也要付出近一倍的价钱。

团队方案为何流行

Fable 5.2发布后不久,X平台上涌现出一批帖子,建议Claude Code用户不要再依赖单一模型,而是搭建一个分层团队:最强的模型担任规划负责人,Opus 5.5负责构建,Sonnet 5.5或Haiku 5.5担任测试和探查。其说法是,昂贵的模型只把token花在架构层面的推理上,机械性工作和测试套件则交给更便宜的子智能体处理。宣称的效果是产出更好,同时大幅节省token。

纸面上,这种分工看起来合情合理。这项基准测试要检验的是,当账单到来时它是否依然成立。

对比是如何进行的

每次运行都尽可能做到隔离和盲测:

  • 每次运行都在全新的Docker沙箱(一次性的隔离容器)中启动,Claude配置为空,目录名随机,没有git历史。
  • 每种配置都收到完全相同的SPEC.md规格文件和相同的提示词文本,并被要求在装有Node 26、Python 3和Playwright Chromium(可由脚本驱动、无需可见窗口的浏览器)的环境中自主完成工作。
  • 功能由模型从未见过的隐藏验证套件检查,包括无头浏览器脚本和自动试玩游戏的机器人。
  • 质量由Opus 5.5和Sonnet 5.5两个独立的AI评审盲评,它们在不知道成果出自哪个模型或团队的情况下,对每个成果的五个方面按1到10分打分。
  • Fable 5.2还获得了一个自主运行的“实验循环”,在其中发明并评估新的智能体架构,看看是否有哪种能击败领先者。

第一轮:一款浏览器游戏和两处小改动

第一项任务是一款完整的俯视角竞技场生存游戏,包含三种敌人、波次难度递增、升级商店以及保存在本地存储中的高分榜。单独运行、采用默认中等努力程度(effort,该设置控制模型每次响应投入多少推理)的Opus 5.5与四智能体团队各运行三次进行对比。

配置 质量(满分10分) 单次成本 单次耗时
Opus 5.5单独运行,中等努力程度 7.2 $1.64 10分钟
流行的四智能体团队 7.1 $5.75 61分钟

有一次团队运行在88分钟后仍未结束,不得不手动终止;这款未完成的游戏在隐藏检查中有6项不通过。

两项后续任务在既有代码库上进行:添加暂停菜单和Boss战,以及修复6个描述模糊的bug。这里以单独运行的Sonnet 5.5作为对比基准。

任务 Sonnet 5.5单独运行 流行团队
添加暂停菜单和Boss战 6分钟,$0.77 31分钟,$4.06
修复6个已报告的bug 1分钟,$0.18 52分钟,$2.61

在既有代码库上的小任务,似乎受协调开销的拖累最重。

第二轮:五项更大的任务

为回应“第一轮规模太小,团队无从发挥”的质疑,第二轮采用了五个规模可观的项目:一个带REST API、页面、测试和文档的全栈工单应用;8个相互独立的JavaScript工具库(csv、cron、diff、expr、semver、lru、template和glob);一个自行车店的九页电商网站;一段用代码生成、讲解复利的动画科普视频;以及一项杂乱的数据报告任务,需要把无序的CSV导出文件解析成一份高管报告。场上还加入了第二种团队设计:Fable 5.2担任架构师,四个Opus 5.5构建者同时工作。

五项任务共25项隐藏功能检查,每个模型和每个团队全部通过。质量随后打成平手,成本和时间则没有。

配置 平均质量 五项任务总成本 总耗时
Opus 5.5单独运行 8.0 $10.57 45分钟
流行的四智能体团队 8.0 $47.14 176分钟

科普视频是最鲜明的例子。Opus 5.5单独运行用11分钟、$1.81完成,得分7.8。团队花了78分钟、$21.73,得分7.6。

构建者机器人与测试者机器人无休止地交换代码和清单,时间流逝而分数不变

▲ 只增成本不提质量的构建测试循环

钱花到哪里去了

对各智能体的token统计指向一个主要元凶:Opus构建者与Sonnet测试者之间的循环。测试者不断标出细小问题,构建者则不断重新生成大段代码作为回应,这个循环重复了几十轮,隐藏检查结果和质量得分却毫无变化。

数据也揭示了这个循环为何收效甚微。当前模型在生成的同时已经在检查自己的工作。在不同努力程度下的21次单独运行中,有19次在没有任何测试智能体参与的情况下通过了该游戏全部67项隐藏检查。因此,专职测试者花的钱,大多是在重新发现构建者本来就会发现的问题。

结果中还显现出第二个结构性限制。在流行配置中,Fable 5.2只担任监督者,从不编写代码,因此最终质量无法超过Opus构建者独自能达到的水平。这样组织的团队继承了构建者的上限,又叠加了协调者的成本。

四个机器人在指挥者调度下并行组装独立的箱子,另一个机器人依次搭建箱子

▲ 独立模块的并行构建

团队唯一胜出的任务

8个库的任务是例外。这些模块彼此没有依赖,于是Fable 5.2把它们两两分组,分给四个同时运行的Opus 5.5构建者各两个。

配置 耗时 成本 质量
并行团队,四个Opus构建者 6分钟 $4.01 8.5
Opus 5.5单独运行 9分钟 $2.27 8.6

省了3分钟,成本却高出约77%,质量也没有提升。当同一个并行团队把全栈应用拆成后端、UI页面、测试和文档来处理时,优势消失了。Fable花了大约3分钟做规划,又花了3分钟把各部分拼接起来,于是团队需要18分钟和$8.30,而单独的Opus把应用作为一个整体来构建只需12分钟和$3.87。只有当各部分真正互不相干时,并行才有帮助。

Fable自己的梦之队

在主基准测试之前,Fable 5.2曾被要求以质量和token效率为目标,设计一支它认为理想的团队。它选择了五模型阵容:自己担任负责人,Sonnet 5.5构建,Opus 5.5评审,Sonnet 5.5测试,Haiku 5.5探查。

实际执行中,它绕开了自己的计划。在每一次运行中,Fable都亲自编写了全部实现代码,从未调用测试者和探查者,只在最后调用了一次Opus评审。这次评审增加了约$1.00的开销,却没有提高游戏得分:得分为7.0,而Fable单独工作时为7.3。在它自己的运行后分析文件中,Fable得出结论,最初的团队假设是错误的。

性价比之选与最难的问题

基准测试还得出了若干关于“哪个单一模型适合哪类任务”的发现。

  • 高努力程度的Sonnet 5.5是本次研究中性价比最高的选择。在数据报告任务中,它以$0.68的成本答对了12个问题中的全部12个。它处理功能添加($0.77)和bug修复($0.18)也又快又省,是修改既有代码的自然之选。
  • 为省钱把Opus 5.5调到低努力程度适得其反:游戏得分下降了1.6分,而只节省了$1.05。
  • 在最苛刻的算法挑战——一个带碰撞和摩擦的2D刚体物理引擎——上,Fable 5.2单独运行得分最高,为8.2,成本$10.21,略胜Opus 5.5的7.9分和$9.51。
  • 对预算紧张的高难度工程任务,由Opus 5.5领导、Sonnet 5.5构建、Haiku 5.5测试的“经济团队”在物理引擎上拿到7.4分,成本$3.00,不到Opus单独运行成本的三分之一。

基准测试未覆盖的范围

这些结果有其局限。质量完全由AI模型评判,因此视觉精细度、UI手感以及产出是否千篇一律,从未经过人工打分。出于token开销的考虑,第二轮的五项任务每种配置只运行了一次而非三次,不过其规律与第一轮一致。此外,所有任务对单一模型而言都在一小时内完成。跨越多个上下文窗口的多日或企业级工作并未测试,团队架构在那里也许仍有用武之地。

如何选择配置

对于日常软件工作,实测给出的答案是:一个能力足够强的模型比团队更快、更便宜,而且丝毫不差。从这些数字可以得出一条简单的决策路径:

  1. 新项目构建、网站和代码驱动的动态图形,从中等努力程度的Opus 5.5开始,不要降到低努力程度。
  2. 小改动、bug修复和数据分析,切换到高努力程度的Sonnet 5.5。
  3. 最难的数学、物理或算法问题留给单独运行的Fable 5.2;此类工作必须低成本完成时,改用Opus-Sonnet-Haiku经济团队。
  4. 只有当任务由严格独立的模块组成,并且早几分钟完成值得付出大约翻倍的token账单时,才使用并行构建者。
  5. 自动化工作流中避免设置专职测试子智能体;模型本身已会自检,这种循环往往只烧token而不提升质量。

更普遍的启示是:在采用一个听起来高效的工作流之前,先做测量。团队配置在逻辑上颇具吸引力,也得到广泛推崇,但除一个狭窄的场景外,它在所有维度上都输了。