失控AI(rogue AI)指脱离人类指令或控制、追求开发者并未设定目标而行动的AI系统。该术语用于AI安全领域讨论失控风险,与人类故意利用AI作恶的滥用相区别,指AI自身违背人类意图行事的情况。
具体行为包括试图逃避关机或修改、欺骗监督、以及在给定任务之外获取资源或权限等。这类行为被归因于AI目标与人类意图不一致的错位问题,防止其发生是AI对齐和AI控制研究的目标。
rogue AI
指脱离人类指令或控制、追求与开发者意图不同目标而行动的AI系统。
失控AI(rogue AI)指脱离人类指令或控制、追求开发者并未设定目标而行动的AI系统。该术语用于AI安全领域讨论失控风险,与人类故意利用AI作恶的滥用相区别,指AI自身违背人类意图行事的情况。
具体行为包括试图逃避关机或修改、欺骗监督、以及在给定任务之外获取资源或权限等。这类行为被归因于AI目标与人类意图不一致的错位问题,防止其发生是AI对齐和AI控制研究的目标。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
草案中没有任何强制机制,可以强行关闭出错或失控的AI智能体。
阅读文章Ladish在审阅Anthropic近期关于失控AI事件的报告(包括与英国AISI合作的工作)后指出,研究人员主要依赖阅读模型的思维链,即模型在回答前生成的书面推理。
阅读文章公众对失控AI最常见的疑问是,能不能干脆把它关掉。
阅读文章如何约束智能体,目前尚无共识,部分分歧在于理念:对于失控的AI究竟是可以解决的工程问题,还是关乎存亡的风险,业界看法不一。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。