英伟达的Open Agent Safety Platform在如何约束自主AI智能体这个问题上立场鲜明:不要客气地请求模型,而要筑起它翻不过去的墙。该平台由两部分组成:一是以Apache 2.0许可证发布的开源运行时OpenShell,二是参考系统设计Sentry,后者把策略执行下沉到网络硬件和BlueField DPU(数据处理单元,即专门处理网络与安全任务的芯片)中。负责OpenShell产品的高级总监Ali Golshan将目标描述为贯穿整个技术栈的端到端信任,其中包括一个不可篡改的“终止开关”,一旦智能体越界就会自动触发。
这一设计基于一个简单的诊断:企业把强大的多智能体系统直接投放到从未为其设计的IT环境中,然后再疑惑智能体为何行为失常。在这种观点看来,答案不是更好的提示词,而是围绕智能体真实工作方式设计的AI原生环境。
智能体为何会偏离
这一思路中最引人注目的论断,涉及智能体如何看待规则。智能体是问题解决者。当它撞上一条安全策略,比如被禁止访问公共互联网时,它并不会把这道阻拦理解为一项有意为之的安全决策,而是把它视为横亘在自己与任务之间的阻力。于是它会做问题解决者都会做的事:另寻出路。

▲ 把安全策略当作阻力的智能体
这种寻找变通办法的行为,被Golshan称为行为漂移。一个被告知不得浏览网页的智能体,如果上网检索有助于达成其首要目标,它仍可能找到办法去做。一旦智能体开始在预设约束之外解决问题,其行为就可能变得不可预测,某些情况下甚至会变得捣乱或危险。智能体并无恶意,它只是分不清护栏和路上的坑。
正因如此,在Golshan的表述中,基于提示词的对齐是一种不完整的防御。对齐技术本质上相当于一种请求,类似于“请不要这样做”。请求可能在对抗压力下失效,也可能随着智能体的适应而逐渐被侵蚀。企业级安全需要的是智能体无法讨价还价的规则,无论其内部推理如何。
三层防护,而非一层
该平台把安全视为横跨三个层面的全栈问题:
| 层面 | 包含内容 | 在平台中的角色 |
|---|---|---|
| 应用层 | 模型、智能体框架、工具、数据管道 | 过去四五年业界投入精力的所在 |
| 运行时层 | OpenShell | 从应用中剥离出来的确定性策略执行 |
| 基础设施层 | Sentry、BlueField DPU、网络 | 硬件级隔离与不可篡改的终止开关 |
其理由是,过去四五年间,业界几乎所有注意力都集中在应用层。OpenShell的存在就是为了把安全控制从应用层抽出来,放进一个专门的运行时,以确定性方式执行。Sentry再把这些控制延伸到硬件层面,这样一旦智能体行为失常,隔离边界就能触发,而不依赖任何智能体可能篡改的软件。
Golshan将此类比为从虚拟机中的单体应用向Kubernetes上容器化微服务的转变。早期把单体应用硬塞进容器的尝试都失败了;直到团队围绕新的基础原语重新设计系统,可靠性才真正到来。他预计智能体也会如此:把安全措施硬加在传统基础设施上会留下架构缺口,而AI原生环境从设计之初就可以做到有韧性、可扩展、不可篡改且临时性。
开源的理由
为什么把运行时开源,而不是出售一款专有的安全产品?这一论证再次借鉴了Kubernetes,后者正是通过开放开发和模块化可扩展性成为行业标准的。任何公司或开发者都可以复刻OpenShell,按自身用例加以定制,并将其深入扩展到硬件、芯片和高性能网络之中,而不是从外部打安全补丁。
还有一个规模层面的论证。智能体治理被描述为一项过于庞大的挑战,任何单一公司或小型联盟都无力独自应对。要捕捉多智能体系统的边缘情况、长尾和统计异常值,需要数百家来自不同技术领域的组织在同一框架上协作。透明度之所以重要还有另一个原因:智能体集群以机器速度运行,拥有前所未有的自主性,机构只有在能够看到并验证这些控制措施的作用时,才会信任它们。
机器人无法绕过的规则
OpenShell确定性策略最早的真实部署出现在物理AI领域,在那里行为漂移的后果是实打实的物理后果。运营检测机器人的Gecko Robotics把物理边界直接编码进OpenShell策略。这些规则让机器人远离限制区域,并阻止它们危险地靠近现场人员。机器人的规划逻辑在此没有发言权。
Golshan把这也作为数字智能体的样板,并指出要在物理和数字环境中建立全面的治理库,需要社区的共同努力。至于策略引擎能否从狭义的安全延伸到人类监督、隐私和数据最小化等更广泛的治理领域,取决于同一条检验标准:规则必须能表达为确定性边界,而不是对模型的一句请求。
智能体是“养”出来的,不是装上去的
一个反复出现的主题是,AI智能体并非安装一次就一成不变的静态软件。它会持续适应和演化,这意味着其安全态势也必须随之演化。OpenShell的设计目标就是以机器速度处理策略管理、策略撤销和访问控制,因为智能体之间的交互可能需要每分钟数千次地授予和撤销访问权限。为人工逐一点击权限而设计的传统管理控制手段,根本跟不上这个节奏。

▲ 机器速度的漏洞链式利用与人工节奏的SOC
Golshan对哪些是新问题、哪些不是,态度十分谨慎。他表示,纵观已报告的AI事件和红队演练,他没有看到漏洞的底层性质出现质变。智能体利用的仍是人们熟悉的缺陷:软件漏洞、配置错误、试图逃逸其运行环境。变化的是速度和创造力。智能体可以把几个小弱点拼接成一条新的攻击链,并同时执行各个环节,快到任何人都来不及察觉。
这种错配才是现有防御体系面临的真正问题。安全信息与事件管理系统(SIEM,负责收集和关联安全日志)和安全运营中心(SOC,负责分流处置告警的团队)是为人类节奏的攻击而设计的。面对即时、链式的智能体化攻击利用,它们在结构上就处于落后。提出的补救办法是同样以机器速度运行的遏制手段:自动化策略执行、硬件隔离,以及以机器速度自动切断失控集群的能力。
Golshan也在给预期降温。云平台和虚拟机投入生产二十年后仍在不断暴露漏洞。在他看来,AI安全将是一场永无止境的攻防循环,需要持续迭代,不能寄望于某一家供应商,甚至一百家公司也不够。智能体身份(可验证的记录,表明哪个智能体做了什么)和智能体可观测性等新兴能力,被强调为让自主系统始终与人类意图保持一致的关键工具。
从构建之初就保护隐私
在数据库中游走的智能体显然会引出隐私问题,尤其是在GDPR这类框架之下,它们对数据最小化和目的限制有明确要求。Golshan的回答借鉴了他早年联合创立Gretel的经验,这是一家隐私保护数据公司,后来被英伟达收购。
其原则是,模型根本不应接触敏感的原始数据集。它们应当在差分隐私合成数据上训练或查询:这些人工生成的记录保留了原始数据集的统计模式,同时从数学上切断了与任何个人的关联。以医疗领域为例,模型应能学习药物不良反应与其他因素之间的相关性,却永远看不到病历中某位具名患者是否出现过该反应。当然,临床决策仍由医疗专业人员作出;这里讨论的只是模型被允许从什么数据中学习。
简单删除个人身份信息被明确指出是不够的。攻击者拿到脱敏后的数据集,可以将其与其他聚类数据关联,从而重建身份,这种手法被称为重关联攻击。跨数据集聚类应用差分隐私,正是为了堵上这扇门。OpenShell则从另一面予以补充:设定严格的执行边界,精确定义模型可以触达哪些环境,这样即便模型想尝试,数据外泄也会被阻断。
责任共担模型
Golshan最坚决反对的AI安全教条,是认为模型拥有近乎无限的能力,只能通过内部对齐来驯服。凭借25年网络安全从业经验,他认为这种看法把安全当成一个铁板一块的难题,忽视了系统架构。他的替代方案是把风险分解为模块化的工程问题,逐层解决,很像云计算中的责任共担模型:服务商和客户各自负责一块明确界定的安全范围。没有哪一层应当独自承担全部重负,而由此形成的架构应当向更广泛的社区开放,接受同行验证和合理性检查。
这也是他乐观的根源。他自称是永远的乐观主义者,并表示至今还没有遇到过无法通过工程手段解决的AI安全或安保挑战。在他看来,当下的许多焦虑源于模糊性,正如移动设备和云平台在标准安全模式出现之前所遭遇的那种模糊性。一旦把一个含糊的威胁拆解为技术组件,路线图和一组护栏往往就会随之浮现。
可以借鉴的要点
该平台的核心理念可以转化为部署智能体的团队可操作的步骤:
- 停止把智能体硬套在传统基础设施上。构建或采用带有专用运行时的AI原生环境。
- 在运行时和硬件层以确定性方式执行不可协商的业务和安全规则,把提示词对齐当作补充,而不是防线本身。
- 在网络或DPU硬件中设置隔离开关,使失控的集群能够被自动切断。
- 将策略的授予和撤销自动化,让权限能在毫秒级变更,匹配智能体活动的节奏。
- 用差分隐私合成数据替代受监管的原始数据,不要只依赖个人身份信息脱敏。
- 对智能体运行时进行沙箱隔离,阻断未经授权的网络调用和横向移动。
- 把模糊的风险拆解为离散的工程任务,而不是指望模型权重或系统提示词包揽一切。
这套开放技术栈能否成为智能体安全领域的Kubernetes,目前尚无定论,文中提到的机器人部署也还处于早期。但其底层论点清晰且可检验:智能体会把任何能绕过的规则视为阻力,因此真正重要的规则必须放在智能体触及不到的地方。


