AI安全如今已成为一个治理问题：如果AI系统的发展速度超过监督机制，人们和机构还能否监测并干预？OpenAI首席执行官萨姆·奥尔特曼在联合国安理会发言时，呼吁制定共同的国际安全标准，并快速通报意外故障。他认为，不能以竞争为由，部署开发者无法验证其安全性和对齐情况的系统。
控制可能失效的两种方式
奥尔特曼指出了两种可能造成灾难性后果的风险。AI研究人员约书亚·本吉奥也持有类似看法：
- 人类失去控制。 未来的系统可能进步得太快，以至于人们来不及理解、监督或中断它们。其中一个担忧是递归自我改进：AI系统获得改造自身或协助创造能力更强的后继系统的能力，从而使这一循环加速。
- 权力极度集中。 少数公司、个人或政府可能对AI的使用方式，以及AI服务于谁的优先事项，掌握过大的决定权。
这两种风险需要不同的防护措施。更完善的技术监测可以应对系统可能变得难以控制的问题；权责明确的治理则要解决谁有权决定如何使用这类系统的问题。如果开发者能在竞争压力下绕过这些措施，任何一种措施单独存在都不够。
▲ 人类监督与机器速度
奥尔特曼反对以企业或国家之间的竞赛为由仓促部署AI。他说，OpenAI此前曾主动放慢开发进度；如果无法验证对齐和安全性，今后还会这样做。对齐是指对系统进行设计和测试，使其能力增长时，行为仍符合人类的意图和价值观。他认为，哪怕发生灾难的假设概率很小，这种风险也不是部署不受约束的前沿AI系统所能接受的代价。这里的前沿AI指正在开发的能力最强的系统。
让监督成为共同责任
奥尔特曼提出的路径始于三项原则：让人类继续掌握决策权和道德判断权；广泛分享AI带来的经济和科学收益；增强个人和地方社区的自主能力，而不是将权力集中起来。在他看来，AI应帮助人们学习、开展研究和参与公共生活，而不是让人成为自动化流程中的一环。
这一愿景也为开发者划定了边界。私营AI公司不应取代民主决策，也不应独自制定全球规则。政府需要建立对本国公民负责的监督机制，各国则需要找到合作应对跨境风险的方式。
针对前沿AI，拟议中的国际合作包含几项具体工作：
- 制定共同的安全标准和基准测试，衡量模型能力、自主行动能力、安全裕度，以及人类是否仍掌握控制权。
- 建立快速事故通报机制，以便在意外故障升级前对其展开调查。
- 在各国政府、关键基础设施团队和技术专家之间保持安全通信，交流新出现的网络和实体威胁。
- 制定公平适用于开源和专有系统、也适用于新兴公司的规则，而不是只保护成熟开发者。
这些措施并不意味着将所有决定都交给一个国际机构，而是为各国监督和跨境合作提供评估风险的共同基础。
为什么速度至关重要
奥尔特曼以数学领域的进展说明AI能力变化有多快。他描述了以下过程：
- 三个夏天前，模型大致只能处理小学水平的数学题。
- 两个夏天前，模型已经能尝试解决高中数学竞赛题。
- 一个夏天前，模型在国际数学竞赛中达到了相当于金牌的水平。
他还将最近一项先进模型的成果描述为解决了千禧年大奖难题之一，即与纳维—斯托克斯方程有关的难题。这些方程描述流体流动，应用领域包括飞机设计、天气预报和血流建模。他所描述的这一能力进展，或许能解释他为何如此急迫：机构需要有办法在AI能力变化时对其进行评估，而不能假定现有监督机制会跟上。
▲ 流体动力学与AI数学
在提出警告的同时，奥尔特曼也强调了AI在医疗、科学发现和教育方面的潜力。他认为，摆在人们面前的是两种不同的前景：AI成为拓展人类创造力和机会的工具，或者带来一段社会严重动荡的时期。两者的区别不仅取决于模型能做什么，也取决于人们能否继续引导模型，并分享其带来的收益。
接下来要关注什么
对AI治理的直接考验，是宏观的安全目标能否变成可执行的规则。评估一项拟议标准时，需要看它如何衡量自主性和人类控制权、谁接收事故报告，以及在无法验证安全性时开发者必须何时放慢进度。这些细节将核心警示与一个实际目标联系起来：随着AI能力增长，确保人们仍能监督AI，同时不让这项权力落入过少的人手中。