谷歌DeepMind主席德米斯·哈萨比斯打造了世界上最强大的一批AI系统。然而,他近来谈得最多的,却是自己会在哪里划下界线。他的核心警告十分具体:AI发展的下一阶段,即系统在没有人类逐步核查的闭环中自我改进,是通向通用人工智能(AGI,指在多数任务上达到或超越人类能力的AI)最危险的路径。与此相伴的还有第二层担忧:恰恰在最需要强有力协调的时刻,国际机构却显得最为薄弱。

对于关注AI安全争论的读者来说,他的论证提供了一个有用的过滤器。主张加强控制的人并非外部批评者,而是这个领域的领军建设者之一,而且他的论证建立在具体的工程条件之上,而不是含糊的警报。

自我改进为何奏效,又在哪里不再安全

哈萨比斯把递归自我改进(RSI)的思路,即AI系统帮助产生更好的自身版本,追溯到DeepMind的游戏系统。AlphaGo在2016年凭借人类棋谱击败了围棋人类世界冠军。它的继任者AlphaZero则完全放弃了人类数据:从随机落子起步,与自己对弈数百万局,大约十二小时内就从随机走法进化到击败特级大师水平的国际象棋引擎。哈萨比斯回忆说,上午11点他还能赢它,到午饭时间就已经输给它了。

他解释说,这之所以可行,是因为游戏、数学和计算机代码都是"可验证领域"。一盘棋、一个证明或一段编译后的程序,其结果可以被毫不含糊地检验。这让模型得以生成无限量的合成训练数据:当前最佳版本提出更难的问题,结果对照真实答案打分,下一个版本随之改进,整个过程不需要人类标注任何东西。他把近来AI在编码和数学推理上的大幅进步归功于这一循环,同时指出开放式、主观性的领域仍然困难得多。

按他的说法,如今业界正处于RSI早期的开环阶段。AI编码工具让人类工程师的生产力提高三到五倍,但架构仍由人设计,代码仍由人审查,过程仍由人监督。危险出现在实验室为了提速而去掉人类这一环节的时候。

闭环RSI可能产生什么

哈萨比斯担心的并不是自我改进的系统单纯变得强大,而是一旦人类验证缺席,开发者就失去了预测或引导系统走向的能力。他描述的可能结果,是一种内部框架与人类思维格格不入的智能,这会使相互理解和对齐变得极其困难。他把这与讨论了大约二十年的"智能爆炸"情景联系起来。他还指出,研究人员对这些风险有广泛共识,尽管商业竞争仍在快速推动编码系统向前。

一台小型机器人在密封透明舱内拼装积木,人们在旁监测仪表和控制面板

▲ 持续监控下的沙箱智能体

他希望先落实的工程条件

哈萨比斯没有呼吁暂停,而是列出了实验室现在就能满足的实际条件。其中不少只是普通的软件纪律。他观察到,过去六个月里业界发生的多起网络安全和隔离控制方面的事件,本可以靠更严格的工程实践来避免。

防护措施 实际含义
防御先于进攻 在前沿模型正式发布前,让经过审核的网络防御人员提前获得经微调的防御版本
加固的沙箱 测试期间让自主智能体在隔离、加固的环境中运行
持续的运行时监控 部署自动化遥测,确保没有任何智能体能在无人观察的状态下运行数周
形式化保证 超越启发式测试,走向对智能体行为的数学边界
多智能体理论 吸引纯数学家进入复杂性理论和博弈论,为涌现的群体行为建模

他警告说,如果没有这类协调投入,一场类似数字"漏油事故"的意外灾难很可能发生。这个措辞值得注意:他描述的情景是草率造成的事故,而不是蓄意攻击。

治理:行业组织、政府监督与外部审计

在制度层面,哈萨比斯提到了他已公开发表的提案:成立一个由行业主导的自律组织(SRO),由实验室自己运营,但有政府监督作为后盾。他建议先在美国牵头下启动,再扩展为国际框架。他坦言,当前的地缘政治摩擦在错误的时刻削弱了多边机构,他用英国式的轻描淡写称这一局面"有点不幸"。

哈萨比斯认为,行业领袖签署的自愿安全协议虽不完整但有价值,因为它们为工程团队在共同安全基准上协作提供了政治和组织上的掩护。他还补充了三项内容:

  • 互相红队测试:竞争对手实验室在公开发布前,依照安全协议对彼此的模型进行压力测试。
  • 由独立第三方评估机构构成的商业生态,参照财务会计事务所的模式,埃森哲进入AI安全评估领域被视为早期例子。
  • 实验室之间共享基准和情报,而政府应当鼓励、允许还是强制这种协作,仍是悬而未决的问题。

这里的模式是一贯的:从实验室内部的代码审查到外部审计,哈萨比斯希望每个阶段都有建设者之外的一方来验证。

意识:为什么他希望其他学科先上桌

第二个问题听起来偏哲学,但在哈萨比斯的框架里,它直接关系到安全。两个参照点勾勒出这个问题:一位前谷歌工程师因为聊天机器人在被问到时自称有意识,就断定它有意识;而Anthropic对模型福祉框架的探索则更为谨慎,这种做法类似于帕斯卡的赌注,或者像是用心对待幼童以便其健康成长。

哈萨比斯的立场是,当前的AI系统没有显示出主观现象体验的证据,而把统计模型称为有意识会造成概念混乱和政策上的复杂化。他以意识的"难问题"为依据:人类之所以合理地假定他人拥有内在体验,是因为彼此共享同样的生物基质,而AI系统不具备这种等价性,因此任何关于内在感受的主张都极难证实。他还指出,经过数千年的探究,人类至今没有一个公认的、可操作的意识定义。他承认,领域内的其他人持有不同的直觉。

他主张智能和意识是"双重可分离"的。前沿模型展现出很高的任务能力却没有觉知,而狗、海豚、猴子和大象显然会做梦、有感受、能体验世界,其分析能力却远不及计算机。他自己的狗就是他举的例子。

造工具而不是造有自主意志的智能体:两个理由

哈萨比斯给出了两个理由,说明为何应专注于智能工具而不是具有自主意志的实体。第一个是技术层面的。他认为,赋予系统自我觉知或自主意志,与保持系统可纠正(即服从指令、可以被停止或修正)之间存在内在的取舍。一个能依据内部标准拒绝命令的系统,会剥夺操作者叫停不当行为的能力。他引用艾萨克·阿西莫夫的机器人三定律提醒人们,简洁的规则会在不可预测的边缘情况下失效;他还告诫不要因为今天的语言模型比十五到二十年前研究者预期的更易引导,就以为对齐问题已基本解决。他说,把RSI和自主意志结合起来,会让危险成倍放大。

第二个理由是社会层面的。在他看来,社会完全没有准备好去裁定有意识合成存在的道德地位、法律权利和可能遭受的剥削。在任何人跨过那条线之前,他希望有一场广泛的对话,让不同文化背景的哲学家、神学家、艺术家和人文学者参与进来。他提议的顺序是只跨过第一道门槛:打造强大的科学工具并将其应用于神经科学,他预计这可能在五到十年内揭示意识的神经关联物。只有到那时,有了更清晰的科学基础,各个社会才应当讨论是否以及如何创造有意识的机器。

来自科学、艺术、宗教、学术和技术界的人围坐圆桌研究一个玻璃大脑模型

▲ 关于机器意识的跨学科讨论

主权问题:各国的钱该往哪里投

最后一个主题直接关系到正在权衡国家AI计划的国家。哈萨比斯预计前沿AI将集中在全球六到八家提供者手中,其中包括中国的实验室,领先者会以三到六个月为周期彼此超越。他预测开源模型将落后于闭源前沿模型六个月到一年,这让赋能研究者与助长不法分子之间的取舍继续悬而未决。

他给各国和企业的建议很直接:投入数十亿资金从零训练一个本土基础模型,既是重复劳动,在经济上也低效。他认为价值在下游:面向特定领域的微调、数据隐私和主权数据治理,以及医疗等高影响力的垂直应用。他用DeepMind自身的纪录来支撑医疗这个案例:AlphaFold 2在2020年解决了困扰五十年的蛋白质折叠问题,如今有超过四百万研究者使用它的数据,DeepMind及其分拆公司Isomorphic Labs正把这一方法扩展到毒性和药物行为建模,同时也承认仅凭预测出的结构并不能治愈病人。

从中可以得到什么

核心信息是:前沿AI的建设者正在要求对自己的领域施加更多制衡,而且他的要求是具体的。对于关注安全争论的读者,从他的论证中可以提炼出几条标准:

  • 当AI参与构建下一代模型时,看实验室是否仍让人类审查这个循环。在哈萨比斯的框架里,这是最重要的一条线。
  • 先看工程基本功,再看宏大框架:沙箱、能发现智能体连续运行数周的监控,以及让防御工具先到达安全团队手中。
  • 把来自外部的验证,无论是对手红队还是独立审计,视为认真对待的标志,把自愿协议视为起点而非终点。
  • 对基于聊天机器人自述的意识主张保持怀疑,同时认识到这一观点本身是一种判断,专家之间仍有分歧。
  • 在国家战略上,按哈萨比斯的建议,权衡从零训练前沿模型的成本与在现有模型上构建应用的得失。

他提出的顺序,先造工具、再做神经科学、待社会广泛讨论之后才谈有意识的机器,是否正确,仍是留给哲学家、政策制定者和公众的问题,而不只是实验室的问题。他的论证说清楚的一点是,至少有一家实验室在要求这场讨论发生在下一次飞跃之前,而不是之后。