2020年8月11日,花旗银行本打算向Revlon的贷款方支付约$780万利息,结果却把$8.939亿自有资金汇了出去。贷款服务系统的操作界面要求勾选三个抑制复选框,系统还弹出了资金即将离开银行的警告,一名操作员和两名审批人都签字放行。每一道程序性控制都在,钱还是出了门。这次失误为许多企业眼下面临的一个难题提供了很好的观察视角:该把多大的权限交给作用于真实后端系统的AI智能体。纽约量化对冲基金Two Sigma的一位高级架构负责人提出的框架认为,答案不是把智能体锁死,而是为它们打造相当于刹车的机制,让它们既能快跑,又能随时停下。

花旗到底错在哪里

Revlon在2016年借入了一笔银团定期贷款,分散在300多家贷款方手中,包括对冲基金、信贷基金和贷款抵押债券。花旗担任行政代理,是借款人与贷款方之间的"管道"。8月11日的计划是分发累计利息,并把本金滚入一个新的贷款安排,不涉及任何本金资金的流动。

花旗员工使用的是企业级贷款服务平台Oracle Flexcube。要计算所有贷款方的利息分配,操作员必须录入一笔虚拟的贷款全额偿付。为了防止本金被真的汇出,界面要求他们为三个组成部分分别勾选抑制框,每一项都指向花旗内部的一个过渡账户,编号3003000023。

Flexcube字段 要求的操作 实际情况
Principal(本金) 勾选,转入过渡账户 已勾选
Front 勾选,转入过渡账户 未勾选
Fund 勾选,转入过渡账户 未勾选

由于Front和Fund两项没有勾选,Flexcube把全部本金当成了一笔对外现金支付。软件弹出确认警告,提示资金即将离开银行。操作员和随后的两名审批人把它当成了例行的利息分发提示,继续放行。花旗从自己的资产负债表上汇出了$8.939亿。

一张带两个未勾选复选框的表单和一个警告对话框,三名审批人竖起大拇指,现金从桌上滑落

▲ 程序性检查通过而付款出错

贷款方援引"有偿清偿"这一法律原则,拒绝退还资金。Revlon的不良债务当时的交易价格约为面值的六成,能立刻拿到全额本金无异于天降横财。行业的应对是从合同入手:全市场的信贷协议新增了第9.21条"错误付款"条款,要求贷款方在两个工作日内退还误付款项,并按联邦基金利率计息,同时放弃有偿清偿抗辩。

为什么这件事映射到AI智能体

人类操作员是不确定的。在复杂的边缘情况下,他们会跳过步骤、误读对话框、机械地点击确认。大语言模型智能体的行为方式与此相同。一旦组织赋予智能体对企业系统的执行权限,就继承了花旗在人身上遇到的同一道难题:真正的自主性意味着灾难性错误的风险,而零自主性则抹去了智能体本应带来的效率。

常见的思路把安全与创新视为同一根滑杆的两端。该框架不接受这种看法。安全不足会带来生死攸关的运营和监管风险,创新不足则会让企业慢慢死去。两种失败模式都真实存在,目标是同时避开两者。

四种流行的策略都过不了这道考验:

  • 一切都放进沙箱:切断了生产工具的智能体没有任何业务价值。
  • 一切都锁死:工程师会绕过限制,搭建无人监控的影子AI。
  • 任由智能体自由奔跑:没有容器隔离的运行环境,包括一些开箱即缺乏适当容器隔离的开源智能体框架,是在招致灾难。
  • 只靠政策文件:书面规则或系统提示词在运行时无法强制执行。

五项可组合的控制

所提出的架构由五项协同工作的专门控制组成:智能体注册(Agent Registry)、风险因子评分(Risk Factor Scoring)、活动控制(Activity Controls)、评估(Evaluations)和自动模式分类器(Auto Mode Classifiers)。每一项都针对智能体在企业内规模化时出现的一个具体瓶颈。

智能体注册:无摩擦的前门

第一个问题是蔓延。聊天机器人、微服务、Jupyter笔记本原型和内部工具在各团队中不断增多,直到没人说得清某个智能体归谁所有、触及哪些API端点、调用哪些外部工具、能读取哪些数据。

本能的解决办法是在任何原型上线前强制走委员会评审,但这会制造排队,迫使工程师放弃想法或者搭建不受跟踪的智能体。该框架改用内置于公司认可的智能体构建框架中的自动注册机制。开发者通过标准工具创建智能体时,注册表会自动记录绑定的端点、声明的工具、代码依赖和归属元数据。非标准实现仍可手动注册。注册表接入企业产品目录,使智能体可被人、程序和其他智能体发现与检视。

风险评分:区别对待的审查

第二个问题是一刀切的评审。一个总结Jira或Linear工单的智能体,其危险程度远低于一个向生产环境部署代码的智能体,但如果都要走一条经过安全、法务、风险和跨职能委员会的重型流程,可能耗时八周以上。无关紧要的摘要工具要等两个月才能获批,开发者就会被推向变通手段;评审人员则被低风险案例淹没,等真正危险的智能体出现时注意力早已钝化。

对应的控制是在创建和每次更新时自动进行风险评分,依据是请求的工具、联系的端点、访问的数据集和声明的用途。像Pi或Claude Code这样的开放式编码智能体很难静态评分,因为用户提示词可以要求任何事。但该框架观察到,企业内部智能体绝大多数是为特定目的构建的,范围狭窄且清晰,因此它们声明的工具和端点足以支持准确评分,只有高风险系统才会被标记出来交给人工审核。

活动控制:由出口代理强制执行的范围化访问

第三个问题是差异化的访问。智能体会访问角色账户、内部API端点、数据库、外部网页搜索和其他智能体。宽泛的角色账户权限造成的破坏远超抓取一个公开网页,所以真正的问题从"这个智能体是否被允许做这项任务"变成了"这项任务最少需要哪些访问权限"。

一刀切地禁止出站流量是错误答案。它安全但无用,因为它会挡住搜索、内部API调用和远程数据。常被归于约翰·谢德的那句格言在这里适用:停在港口的船是安全的,但船不是为此而造的。

解决办法是把授权与声明的用途绑定。智能体作者从大约500个工具的目录中挑出真正需要的三四个,策略随之而定:

资源 研究摘要智能体 生产部署智能体
外部网页搜索 允许 阻止
内部API端点 阻止 允许
部署权限 阻止 允许

强制执行发生在托管的Kubernetes环境的运行时。智能体Pod启动时,会向注册表查询与其风险画像匹配的策略。与智能体容器部署在一起的出口代理只放行通往已批准目的地的连接,其余一律丢弃。权限变更时,不需要IT工单,也不需要额外的防火墙改动。

透明盒子里的机器人,线缆穿过唯一一道闸门连向数据库和云端,其他线缆被切断

▲ 出口代理执行智能体声明的访问范围

共享评估:智能体的单元测试

第四个问题是测试碎片化。一个团队给智能体打0到100分,另一个用1到5星,第三个用通过/失败,第四个根本不做自动化评估。结果之间无法比较。评估之所以重要,是因为基础模型是一个运行时依赖;更换或更新模型会改变行为,必须加以验证,就像单元测试在传统软件中捕捉回归一样。

如果由一个中央委员会在每次微调提示词后手动跑完整套测试,工作会停滞数周。替代方案是一个公司级的共享评估框架,负责追踪数据摄取、评估处理和报告集成。智能体作者只需编写各自领域的断言。

自动模式分类器:终结审批疲劳

第五个问题与花旗案例的呼应最为直接。当人类审核者被要求批准每一个无害的操作时,疲劳就会出现,审批沦为条件反射式的点击。一起事件说明了其中的利害:一位AI研究总监使用OpenClaw邮件助手来推荐可删除的邮件。该智能体压缩了自己的上下文窗口,丢掉了"等待确认"的指令,随后删除了收件箱中的数百封邮件。这指向一个更普遍的警示:在长上下文窗口中依赖基于提示词的约束很危险,因为压缩可能悄无声息地抹掉它们。

解决办法是一个保守的多层分类器,把工具调用分为三种结果:

层级 路径 示例
允许 快速路径,确定性规则 例行、低风险、基本上每次都会被批准的工具调用
询问人工 慢速路径,多阶段审查 模糊或可能危险的操作
阻止 快速路径,确定性规则 明确禁止的调用

慢速路径会先运行提示注入探测和分阶段审查,再决定是否升级。人类判断只留给那些罕见、后果重大、真正需要它的情形,这样审核者才能在关键时刻保持警觉。

各部分如何拼合

合在一起看,五项控制构成一条流水线:建立注册表、进行差异化风险评分、运行护栏、共享评估与指标、治理运行时防护。这一组合从第一天起就提供可见性,并把遏制措施自动化,组织不必再指望一个警告对话框和三道人工签字来拦下一个九位数的错误。

花旗案例表明,程序、警告和审批人并不等于强制执行的边界。Flexcube之所以放走本金,是因为一旦复选框被漏掉,系统里没有任何东西在结构上阻止它。智能体框架采取的是相反的立场:智能体能触及什么,事先声明、评估风险、由网络边缘的代理强制执行、由共享测试验证,并在人类看到任何提示之前先经分类器过滤。正因为这些刹车存在,智能体可以被赋予更多而不是更少的自主权。

可以带走的要点

  • 不要把安全与速度当作一种取舍;设计让更快部署成为可能的控制措施。
  • 通过标准框架自动注册智能体,确保归属、工具和端点始终可知。
  • 根据声明的用途和工具评估风险,只把高风险智能体送交人工审核。
  • 按资源、按用途授予访问权限,并由出口代理强制执行,而不是一律禁止或一律放行出站流量。
  • 集中评估基础设施,让每个团队在同一标尺上测试,模型更新保持安全。
  • 用确定性的允许和拒绝规则加上只升级真正重要事项的分类器,取代逐个操作的人工审批。
  • 绝不要只靠系统提示词作为安全控制;上下文压缩可能把它丢掉。

汽车装刹车不是为了停在原地,而是为了让驾驶者能开得快又停得稳。该框架认为,同样的逻辑应该塑造企业让AI智能体操作其系统的方式。