一项受控基准测试在9类编程与数据任务上进行了82次封闭运行,结果显示,网上广为流传的Claude Code“团队”配置——由Claude Fable 5.2统筹指挥、Claude Opus 5.5编写代码、Claude Sonnet 5.5负责测试、Claude Haiku 5.5探查代码库——产出的质量与单独运行一个Opus 5.5会话相同,成本却高出3.5至4.5倍,耗时最多达6倍。9项任务中只有一项(8个互不相关的代码库)对团队更有利,而且即便如此,省下的时间也要付出近一倍的价钱。
团队方案为何流行
Fable 5.2发布后不久,X平台上涌现出一批帖子,建议Claude Code用户不要再依赖单一模型,而是搭建一个分层团队:最强的模型担任规划负责人,Opus 5.5负责构建,Sonnet 5.5或Haiku 5.5担任测试和探查。其说法是,昂贵的模型只把token花在架构层面的推理上,机械性工作和测试套件则交给更便宜的子智能体处理。宣称的效果是产出更好,同时大幅节省token。
纸面上,这种分工看起来合情合理。这项基准测试要检验的是,当账单到来时它是否依然成立。
对比是如何进行的
每次运行都尽可能做到隔离和盲测:
- 每次运行都在全新的Docker沙箱(一次性的隔离容器)中启动,Claude配置为空,目录名随机,没有git历史。
- 每种配置都收到完全相同的SPEC.md规格文件和相同的提示词文本,并被要求在装有Node 26、Python 3和Playwright Chromium(可由脚本驱动、无需可见窗口的浏览器)的环境中自主完成工作。
- 功能由模型从未见过的隐藏验证套件检查,包括无头浏览器脚本和自动试玩游戏的机器人。
- 质量由Opus 5.5和Sonnet 5.5两个独立的AI评审盲评,它们在不知道成果出自哪个模型或团队的情况下,对每个成果的五个方面按1到10分打分。
- Fable 5.2还获得了一个自主运行的“实验循环”,在其中发明并评估新的智能体架构,看看是否有哪种能击败领先者。
第一轮:一款浏览器游戏和两处小改动
第一项任务是一款完整的俯视角竞技场生存游戏,包含三种敌人、波次难度递增、升级商店以及保存在本地存储中的高分榜。单独运行、采用默认中等努力程度(effort,该设置控制模型每次响应投入多少推理)的Opus 5.5与四智能体团队各运行三次进行对比。
| 配置 | 质量(满分10分) | 单次成本 | 单次耗时 |
|---|---|---|---|
| Opus 5.5单独运行,中等努力程度 | 7.2 | $1.64 | 10分钟 |
| 流行的四智能体团队 | 7.1 | $5.75 | 61分钟 |
有一次团队运行在88分钟后仍未结束,不得不手动终止;这款未完成的游戏在隐藏检查中有6项不通过。
两项后续任务在既有代码库上进行:添加暂停菜单和Boss战,以及修复6个描述模糊的bug。这里以单独运行的Sonnet 5.5作为对比基准。
| 任务 | Sonnet 5.5单独运行 | 流行团队 |
|---|---|---|
| 添加暂停菜单和Boss战 | 6分钟,$0.77 | 31分钟,$4.06 |
| 修复6个已报告的bug | 1分钟,$0.18 | 52分钟,$2.61 |
在既有代码库上的小任务,似乎受协调开销的拖累最重。
第二轮:五项更大的任务
为回应“第一轮规模太小,团队无从发挥”的质疑,第二轮采用了五个规模可观的项目:一个带REST API、页面、测试和文档的全栈工单应用;8个相互独立的JavaScript工具库(csv、cron、diff、expr、semver、lru、template和glob);一个自行车店的九页电商网站;一段用代码生成、讲解复利的动画科普视频;以及一项杂乱的数据报告任务,需要把无序的CSV导出文件解析成一份高管报告。场上还加入了第二种团队设计:Fable 5.2担任架构师,四个Opus 5.5构建者同时工作。
五项任务共25项隐藏功能检查,每个模型和每个团队全部通过。质量随后打成平手,成本和时间则没有。
| 配置 | 平均质量 | 五项任务总成本 | 总耗时 |
|---|---|---|---|
| Opus 5.5单独运行 | 8.0 | $10.57 | 45分钟 |
| 流行的四智能体团队 | 8.0 | $47.14 | 176分钟 |
科普视频是最鲜明的例子。Opus 5.5单独运行用11分钟、$1.81完成,得分7.8。团队花了78分钟、$21.73,得分7.6。

▲ 只增成本不提质量的构建测试循环
钱花到哪里去了
对各智能体的token统计指向一个主要元凶:Opus构建者与Sonnet测试者之间的循环。测试者不断标出细小问题,构建者则不断重新生成大段代码作为回应,这个循环重复了几十轮,隐藏检查结果和质量得分却毫无变化。
数据也揭示了这个循环为何收效甚微。当前模型在生成的同时已经在检查自己的工作。在不同努力程度下的21次单独运行中,有19次在没有任何测试智能体参与的情况下通过了该游戏全部67项隐藏检查。因此,专职测试者花的钱,大多是在重新发现构建者本来就会发现的问题。
结果中还显现出第二个结构性限制。在流行配置中,Fable 5.2只担任监督者,从不编写代码,因此最终质量无法超过Opus构建者独自能达到的水平。这样组织的团队继承了构建者的上限,又叠加了协调者的成本。

▲ 独立模块的并行构建
团队唯一胜出的任务
8个库的任务是例外。这些模块彼此没有依赖,于是Fable 5.2把它们两两分组,分给四个同时运行的Opus 5.5构建者各两个。
| 配置 | 耗时 | 成本 | 质量 |
|---|---|---|---|
| 并行团队,四个Opus构建者 | 6分钟 | $4.01 | 8.5 |
| Opus 5.5单独运行 | 9分钟 | $2.27 | 8.6 |
省了3分钟,成本却高出约77%,质量也没有提升。当同一个并行团队把全栈应用拆成后端、UI页面、测试和文档来处理时,优势消失了。Fable花了大约3分钟做规划,又花了3分钟把各部分拼接起来,于是团队需要18分钟和$8.30,而单独的Opus把应用作为一个整体来构建只需12分钟和$3.87。只有当各部分真正互不相干时,并行才有帮助。
Fable自己的梦之队
在主基准测试之前,Fable 5.2曾被要求以质量和token效率为目标,设计一支它认为理想的团队。它选择了五模型阵容:自己担任负责人,Sonnet 5.5构建,Opus 5.5评审,Sonnet 5.5测试,Haiku 5.5探查。
实际执行中,它绕开了自己的计划。在每一次运行中,Fable都亲自编写了全部实现代码,从未调用测试者和探查者,只在最后调用了一次Opus评审。这次评审增加了约$1.00的开销,却没有提高游戏得分:得分为7.0,而Fable单独工作时为7.3。在它自己的运行后分析文件中,Fable得出结论,最初的团队假设是错误的。
性价比之选与最难的问题
基准测试还得出了若干关于“哪个单一模型适合哪类任务”的发现。
- 高努力程度的Sonnet 5.5是本次研究中性价比最高的选择。在数据报告任务中,它以$0.68的成本答对了12个问题中的全部12个。它处理功能添加($0.77)和bug修复($0.18)也又快又省,是修改既有代码的自然之选。
- 为省钱把Opus 5.5调到低努力程度适得其反:游戏得分下降了1.6分,而只节省了$1.05。
- 在最苛刻的算法挑战——一个带碰撞和摩擦的2D刚体物理引擎——上,Fable 5.2单独运行得分最高,为8.2,成本$10.21,略胜Opus 5.5的7.9分和$9.51。
- 对预算紧张的高难度工程任务,由Opus 5.5领导、Sonnet 5.5构建、Haiku 5.5测试的“经济团队”在物理引擎上拿到7.4分,成本$3.00,不到Opus单独运行成本的三分之一。
基准测试未覆盖的范围
这些结果有其局限。质量完全由AI模型评判,因此视觉精细度、UI手感以及产出是否千篇一律,从未经过人工打分。出于token开销的考虑,第二轮的五项任务每种配置只运行了一次而非三次,不过其规律与第一轮一致。此外,所有任务对单一模型而言都在一小时内完成。跨越多个上下文窗口的多日或企业级工作并未测试,团队架构在那里也许仍有用武之地。
如何选择配置
对于日常软件工作,实测给出的答案是:一个能力足够强的模型比团队更快、更便宜,而且丝毫不差。从这些数字可以得出一条简单的决策路径:
- 新项目构建、网站和代码驱动的动态图形,从中等努力程度的Opus 5.5开始,不要降到低努力程度。
- 小改动、bug修复和数据分析,切换到高努力程度的Sonnet 5.5。
- 最难的数学、物理或算法问题留给单独运行的Fable 5.2;此类工作必须低成本完成时,改用Opus-Sonnet-Haiku经济团队。
- 只有当任务由严格独立的模块组成,并且早几分钟完成值得付出大约翻倍的token账单时,才使用并行构建者。
- 自动化工作流中避免设置专职测试子智能体;模型本身已会自检,这种循环往往只烧token而不提升质量。
更普遍的启示是:在采用一个听起来高效的工作流之前,先做测量。团队配置在逻辑上颇具吸引力,也得到广泛推崇,但除一个狭窄的场景外,它在所有维度上都输了。


