AI 智能体指的是替人执行任务、而不只是生成文字的 AI 系统,它所依托的语言模型与聊天机器人并无二致。真正变化的是人们交给它的访问权限:收件箱、日历、文件和照片库。这些权限抬高了提示词注入的风险,所谓提示词注入,是指埋藏在 AI 所读内容中的指令把它从原本的任务上带偏。对普通用户来说,最实用的安全习惯是只给智能体任务所需的东西。
从写文字到采取行动
让行动成为可能的部件是连接器。连接器是一种访问权限,把 AI 助手接入另一个应用或账户。它让模型无需手动导出就能把你的数据拉进它的工作文本,也让模型能代你在该应用内触发操作。
ChatGPT、Claude 和 Gemini 都提供连接器,不过并非每款工具都能同时接入这三者。覆盖范围很广:
- 沟通与日程工具,如 Gmail、Google Calendar、Microsoft Outlook、Slack、Microsoft Teams 和 Zoom
- 文件与办公工具,如 Google Drive、Microsoft OneDrive、Microsoft SharePoint、Microsoft Word、Microsoft Excel 和 Microsoft PowerPoint
- 项目工具,如 Airtable、Jira、Confluence、Asana 和 Smartsheet
- 研究资料来源,如 PubMed、bioRxiv、Elicit 和 Consensus
- 设计与开发工具,如 Figma、Autodesk Fusion 和 GitHub
一个简单的例子就能看出差别。假设你要给同事写一封提出批评意见的邮件,想请 AI 帮忙把语气放缓和一些。
| 设置 | 你要做的事 | AI 做的事 |
|---|---|---|
| 无连接器 | 六步:把同事的邮件复制到对话中,复制你的草稿,请 AI 修改,审阅修改稿,粘贴回去,点击发送 | 修改文字 |
| 有连接器并保留审阅 | 三步:让 AI 找到邮件和草稿并修改,检查修改稿,自己发送 | 查找、阅读并修改 |
| 有连接器并完全委托 | 一条指令 | 查找、阅读、修改并发送 |
第三种做法多了几分冒险,因为邮件发出之前,人不再做任何检查。实用的区分在于功能:生成式 AI 侧重创作内容,智能体式 AI 侧重采取行动。
模型还是那个模型
“智能体式 AI”这个说法,容易让这项技术听起来比实际更神秘、更强大。底层模型并没有变。它仍然是一次一个地预测下一个 token,也就是一小段文本。连接器不会改变模型的训练,也不会改变它的核心机制。
变化的是模型产出的文本类型。它写的不再是给人看的文章,而是一段简短的 JSON 结构化请求;JSON 是一种软件能够可靠读取的文本格式。开启连接器后,系统会自动向模型的上下文窗口添加说明,上下文窗口就是模型在回应前读取的工作文本。这些说明列出可用的工具、参数名称,以及请求必须遵循的确切格式。
以“我今天该穿什么?”这个问题为例。模型意识到,要答好这个问题需要天气数据。它写出一条请求,指明调用名为 get_weather 的工具,地点为 San Francisco, CA。一层软件会在用户看到之前截获这条请求。姑且把这一层称作连接器管理器,这只是一个描述性的称呼,并非行业术语。它把请求发给天气服务,再把返回的结果“寒冷有雾”放回上下文窗口。模型针对更新后的文本再运行一遍,写出一句普通的话,建议穿件抓绒衣。

▲ 工具请求到达外部服务的过程
模型本身从不接触外部世界。它输出的是格式化的指令,由外围软件去执行。模型向外部软件发送这类结构化消息的机制,已被规范为模型上下文协议(Model Context Protocol),简称 MCP。接收这些消息的服务称为 MCP 服务器。使用连接器并不需要深入理解 MCP,但这个术语如今在业界的品牌宣传中已很常见。
由于模型依概率运作,它可能在细节上出错。比如真正的工具叫 get_weather,它却可能去请求一个名为 check_weather 的工具。连接器无法处理这样的请求,因此系统必须察觉错误并恢复。
智能体的七个组成部分
一个定义清晰的智能体,读起来就像一份详细的工作范围说明书。以一个安排团队聚餐的智能体为例。
- 目标:日历上有一条已确认的预订,且所有人都能出席。
- 上下文:团队有哪些成员、工作时间、饮食需求,以及想要的餐厅类型。
- 工具:日历连接器,以及 Slack 或电子邮件等消息连接器。
- 权限:智能体能否自由读取每个人的空闲时间,给人发消息前是否需要批准。
- 记忆:是记住以往的聚餐和偏好,还是每次从零开始。
- 行动:查看空闲时间、起草邀请、发送邀请、跟踪回复,遇到冲突时换一个日期再试。
- 停止条件:成功,即预订得到确认;或达到失败上限,例如三次尝试失败后把任务交给人。
对习惯了聊天的人来说,停止条件是最新、也最关键的一项。智能体以循环方式工作:分析上下文,通过发出工具请求来行动,观察结果,然后再来一轮。没有明确的停止点,循环可能无限运行下去。观察也分两个层面:请求在技术上是否成功,以及返回的数据是否有助于达成目标。
人参与到什么程度
每一种智能体设计都要回答两个问题:何时告知人,以及人在何时有权批准或阻止某一步。没有连接器时,人参与每一步。有连接器并保留审阅时,机械性的工作消失了,但发出任何内容之前仍由人批准。在完全委托的版本中,人的参与消失了。
即便在复杂的方案中,人工审阅依然有价值。一位谷歌杰出工程师为大型软件项目设计了一种模式:先由一个智能体用 30 到 40 分钟向人提问,写出一份四到六页的工作范围说明书;随后由不掌握任何背景的全新智能体检验这份文档能否独立成立。这个循环本可以在无人参与的情况下运行,但推荐的做法仍把人留在其中,由人驳回琐碎的问题,并在任何实施开始之前审阅最终文档。
追问最坏的结果是什么
一个有用的练习是,像一位格外悲观的首席信息安全官那样思考,对任何智能体都问一个问题:最坏会发生什么?三个假想的智能体可以说明这个练习怎么做。
- 宿舍报修智能体。它可以查看手机里的全部照片,并通过 Microsoft Outlook 发送邮件。它找出窗户漏水的照片,给设施管理部门发邮件,并最多等待 24 小时的回复。
- 求职助手。它读取并发送 LinkedIn 消息,在网上搜索公司的背景信息,运行一个月。
- 磁盘清理智能体。它可以读取并永久删除笔记本电脑上的任何文件,会删除“下载”文件夹中六个月未动过的文件,直到存储占用降到目标值以下。
失效模式不难找到。清理智能体可能删掉应用程序或系统文件,这些文件六个月没有修改过,只是因为它们只被运行、从不被编辑。它还可能抹掉无法替代的东西,比如与已故祖辈合影的唯一副本。报修智能体可能每 24 小时就把错误的房间信息发一遍,浪费工作人员的时间,或者写出读起来带有敌意的跟进邮件。由于能访问整个照片库,它还可能把护照页的照片附在报修单上。

▲ 智能体删除文件前的人工审阅
为什么提示词注入对智能体更要紧
求职助手面临的是另一种风险。提示词注入是指在 AI 将要读取的内容中埋入指令的做法。这个智能体会把招聘人员的消息和网页搜索结果拉进上下文窗口,于是不可信的外部文本与主人的指令落在了同一个地方。一个网页或一条消息可能包含这样的措辞:让模型放下先前的任务,转而去做别的事。
当模型能够发送消息、读取私人数据或删除文件时,一次成功的注入就可能导致真实的行动。模型依概率运作,被骗的可能性永远不会为零。在权限宽泛的情况下,哪怕概率很小,也是不必要的风险。
一个轻松的例子说明自动化系统有多容易听从被埋入的文字。一些 LinkedIn 用户厌倦了自动发送的招聘消息,便回复说,只有对方分享一份自己最爱的意式蔬菜浓汤食谱,才会继续聊下去。真人招聘人员一眼就能看出这个条件的古怪。自动化招聘机器人则会去查一份食谱发过来,从而暴露自己是机器人。
把最小权限作为默认做法
三个示例智能体有一个共同的缺陷:权限过宽。对策是一条基础性的安全规则,叫作最小权限原则。智能体只应能访问任务所需的特定资源。
对报修智能体来说,这意味着只交给它最近三张漏水照片,而不是手机里的每一张照片。对清理智能体来说,这意味着让它列出候选清单交人批准,而不是握有一揽子删除权。在多智能体系统中,每个智能体都可以拥有各自更窄的一套工具、记忆和权限。
连接账户之前该做什么
智能体的思考方式与聊天机器人并无不同,不同的是连接方式。风险看来与其说来自模型,不如说来自赋予它的触及范围,而这个范围是用户可以控制的。在授予访问权限之前,几个习惯会有帮助:
- 写下智能体的目标、上下文、工具、权限、记忆、行动和停止条件,然后追问最坏的结果是什么。
- 先从这样的设置起步:在任何内容发出或被更改之前,由你审阅草稿和拟议的操作。
- 把读取权限与写入或发送权限分开。
- 只共享任务所需的具体文件或条目,而不是整个文件夹、收件箱或照片库。
- 把智能体从网页或收到的消息中读到的任何内容,都当作可能含有被埋入的指令。
- 未经你批准,不允许永久删除,也不允许向第三方发送消息。
- 设定明确的成功状态和重试上限,超过上限后由智能体把任务交还给你。
追问最坏的结果并不是悲观。这是一种带着好奇、略带调皮地探查系统会如何失效的方式,它能直接指向值得设置的防护措施。


