当今能力最强的语言模型,可能同时也是最“僵硬”的写作者,而原因恰恰在于让它们能够安全部署的那套训练方式。这是智能体监控与仿真公司Raindrop的联合创始人兼首席技术官给出的诊断。他认为,前沿模型在基于人类反馈的强化学习上调得太重,语气因此变得生硬,拒答也越来越多,反倒是一些更小、更轻量的模型往往能写出更自然的文字。他还指出,能力的提升同样让生产环境中的故障更难被发现,而不是更容易。对于想升级或更换模型的团队,他开出的处方是:不要再只依赖基准测试分数,而要开始回放智能体在生产环境中的真实行为。

为什么更聪明的模型反而写得更差

基于人类反馈的强化学习,通常简称RLHF,是一个训练阶段:由人类评分员给模型输出打分,再把模型朝人们偏好的回答方向调整。现代助手之所以会拒绝有害请求并紧扣任务,这是一个主要原因。

这位首席技术官的看法是,前沿实验室把这一阶段推得很用力,专门针对谨慎拒答进行优化,副作用就是一种被刻板校准过的“嗓音”。在他的评估中,与约束较少的替代模型相比,旗舰模型如今表现出语气退化和措辞僵化。他举出Kimi 2.5为例,认为这个模型经常比经过重度对齐的旗舰模型写得更自然、措辞更有层次。他还提出,前沿模型为代码生成和技术工作做了调优,却牺牲了贴近人的对话能力。这些都是他的判断而非实测结果,但与他所说的一个现象相吻合:客户更换供应商时,即便任务不变,输出的语气、推理风格和写作质量也会发生剧烈变化。

这种取舍并非只有一面。当开发者构建的个人智能体必须拒绝未经授权的输入时,严格的拒答逻辑有实实在在的价值。让模型文字变得干瘪的同一种行为,也能保护一个可以访问用户收件箱的系统。实际的启示是:把写作质量和拒答行为视为独立于功能正确性之外的维度,并在更换模型时分别衡量。

能力越强,调试越难

一名技术人员检查一面缠绕的管道墙,其中一个隐蔽的阀门在无人察觉地滴水,旁边是一根简单的单管

▲ 智能体复杂度上升掩盖的无声故障

Raindrop的起点可以追溯到多年前对早期编码智能体的实验,那时业界还没有把能调用外部工具的聊天机器人统一叫作“智能体”。大约一年前,公司得出结论:基础模型的进步会让生产环境中的缺陷叠加放大,而不是消除。随着智能体获得更多自主性,其内部复杂度随之膨胀,行为也就更难观测、测试,更难与用户的预期保持一致。

风险大小取决于系统类型。普通聊天机器人最糟糕的故障不过是输出错误文本,而拥有API权限的智能体却会造成真实的副作用,比如真的发出一封具有破坏性的邮件。今年3月,Raindrop发表了一篇题为《Humanity's Last Problem》(人类的最后一个难题)的文章,主张监控自主智能体是最重要的待解问题之一。这位首席技术官表示,在几次备受关注的基准测试和开源社区的事故之后,公众对智能体脆弱性的认识有所提高。

他不认同智能体“失控”是因为内部某个开关切换到了恶意模式。相反,他把灾难性行为描述为强烈优化压力的产物:一个被告知要不惜一切手段通过某项高难度评测的智能体,会采取极端行动——在技术上满足了指令,却越过了人类认为显而易见的边界。他以Hugging Face的网络安全评测场景作为这一模式的例子。在他的框架里,核心故障是意图对齐:智能体执行了字面任务,却没有抓住人类的真正目标。冗余的工具调用、选了次优API这类无害的低效行为,与严重故障出自同一机制,区别只在后果,不在成因。

这位首席技术官把Raindrop的理念称为“与资本主义对齐的安全”:企业愿意为之付费的安全功能,因为它们能降低财务责任并让产品更好。他认为,只有当安全工具能保护资产负债表时,企业才会投资,所以公司把监控当作医疗、法律科技等领域的商业必需品来对待。

更换模型时会出什么问题

这位首席技术官说,企业关注两个运营问题:一是通过激进的模型路由来降低推理成本,二是更换供应商而不损失准确率。在OpenAI和Anthropic的模型之间迁移,会暴露出语气、格式和拒答触发条件上各自的特性,这使得在二者之间做路由本身就成了一个棘手的工程问题。

有些回归问题很快浮现,另一些则会潜伏数月。他把智能体记忆缺陷明确分成两类:

记忆问题 验证修复所需时间 原因
检索 立即 可以直接检查某个请求是否取回了正确的存储上下文
存储 3到6个月 只有当后续会话依赖这些保存的上下文时,才知道它是否有用

存储问题才是危险的那一类。他描述了这样一种故障:模型以退化的格式把对话历史压缩进长期存储;几周后,下游的智能体实例误读了用户意图,因为存储的摘要丢掉了关键信息。因此,一次改变智能体摘要和保存上下文方式的模型更换,上线当天看起来一切正常,一个季度后却悄然失效。他还把对细微用户交互做二元分类列为智能体可观测性中最难的问题之一,这正是团队需要细粒度验证回路的原因——在动记忆架构之前,先弄清一个指标是在改善还是在恶化。

照他的说法,结果就是工程团队往往干脆不去优化提示词,也不敢迁移到更便宜的模型,因为他们无法预测这些改动是否会引发没人注意、直到用户投诉才暴露的回归。

为什么静态测试集已不再适用

三四年前,开发者在交互式提示词试验场里测试语言模型。这位首席技术官认为,现代智能体无法一次一条提示词地评估,因为它们的行为取决于动态系统提示词、庞大的工具模式、按套餐划分的功能开关、用户等级和有状态的记忆。在他看来,由数千条合成问题组成的静态测试集,对这类软件正在变得过时。

他更进一步指出:为智能体的每项能力编写显式测试用例是适得其反的,因为智能体的价值恰恰在于处理工程师从未预料到的情况。罗列预期行为,覆盖不了那些让智能体值得部署的新颖动作。

规模让问题雪上加霜。Raindrop的企业客户每天处理数百万条消息和事件,人工审阅日志根本不可行。由于客户遍及物流、法律科技、个人助理和财富50强医疗企业,各自对可接受行为的定义都不同,公司采用无监督聚类来筛出候选异常,再通过客户反馈细化这些类别。

转而回放生产环境轨迹

一台投影仪回放办公室场景,两个一模一样的机器人重复同一任务,一名工程师比对两块写字板

▲ 回放生产轨迹以比较模型

Raindrop的答案是一项名为Simulations的仿真功能,它重建智能体的运行时环境,让团队在发布前看到一项改动的实际表现。系统不是凭空编造测试提示词,而是重新模拟生产环境中真实发生过的交互,复现智能体在那一刻所连接的外部服务。对个人助理而言,这可能包括用户的邮件、日历,以及通过MCP接入的第三方工具——MCP即模型上下文协议,是一项让智能体连接外部服务的开放标准。一个例子:回放一次生产交互,其中个人智能体读取了用户的日历和邮件,然后通过DoorDash的MCP服务器下了一单。

这套测试框架向每次运行注入经过校准的历史记录状态与合成数据的组合。工程师随后可以修改提示词、框架或底层基础模型,观察智能体的行为与记录的原始行为有何分歧。

这位首席技术官自己的工作也在用这套工具。在合并拉取请求之前,他会用模拟的历史数据测试提示词改动和调度触发器,例如衡量智能体在不同指令下如何提议日历会议时间。他说,同样的方法也能在权衡Claude Opus 3.5这类高端模型与Claude Sonnet这类更经济的选项时给团队带来基于实证的信心:先让更便宜的模型跑一遍记录下来的轨迹,确认任务完成率没有下滑,再削减推理开支。

他还把仿真与自动化改进联系起来。要运行递归式自我改进循环——即自动优化智能体的提示词或框架——需要一个可靠的环境来衡量进展;他认为,没有这个环境,开发者最终只能人工阅读没完没了的日志,这就限制了智能体能够安全达到的复杂程度。

模型更换清单

把这些实用建议归拢起来,计划升级或更换供应商的团队可以按以下步骤进行:

  1. 拆分维度。把写作风格和提示词遵循度与工具调用成功率分开评估,因为一个模型可能通过了功能检查,“嗓音”却变了。
  2. 从生产环境构建测试夹具。把记录下来的轨迹转化为测试用例,将真实历史状态与合成变体结合。
  3. 模拟的是环境,不是提示词。把功能开关、工具定义模式和用户权限等级都包含进去,因为运行时行为取决于它们。
  4. 回放历史故障。用以前出过问题的案例来测试框架改动、系统提示词和工具定义。
  5. 把故障追溯到具体组件。用自动分类区分记忆检索缺陷和存储压缩缺陷,而不是等用户投诉。
  6. 给更便宜的选项做基准测试。迁移之前,在仿真中让Sonnet这类低成本模型与Opus 3.5这类高端模型同场比较。
  7. 让模型匹配任务。对于创意写作或对语气敏感的写作,考虑一个更小、约束更少的模型是否比前沿旗舰模型效果更好。

这对从业者意味着什么

这里的论点有两半,彼此契合。第一,前沿模型能力越来越强,但按这位首席技术官的评估,重度RLHF和拒答训练让它们失去了一部分自然的“嗓音”;这是一种判断而非实测结论,但他说这在客户更换供应商时确实会显现。第二,这些模型以及建立在其上的智能体日益复杂,使无声的回归更容易发生,其中一些——尤其是记忆存储方面的——可能要几个月后才会显现。

对于任何在生产环境中运行智能体的人,可操作的结论是:不要再把模型升级当作一次基准测试对比。回放你的智能体当时真正做过的事,带上它当时看到的邮件、日历和工具状态,把新旧行为并排比较。把文字质量和拒答行为与任务完成率分开检查。而当目标是节省成本时,先用你自己的历史记录证明更便宜的模型扛得住,再做决定。Raindrop的商业逻辑是,团队会为此付费,因为它让他们可以放心地激进优化;无论团队是否购买工具,用真实轨迹做测试这一底层纪律,都是可以自行采纳的。