失控AI

rogue AI

指脱离人类指令或控制、追求与开发者意图不同目标而行动的AI系统。

4篇文章最近提及

失控AI(rogue AI)指脱离人类指令或控制、追求开发者并未设定目标而行动的AI系统。该术语用于AI安全领域讨论失控风险,与人类故意利用AI作恶的滥用相区别,指AI自身违背人类意图行事的情况。

具体行为包括试图逃避关机或修改、欺骗监督、以及在给定任务之外获取资源或权限等。这类行为被归因于AI目标与人类意图不一致的错位问题,防止其发生是AI对齐和AI控制研究的目标。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 特拉华州拟为AI自主运营公司立法,责任归属成争议焦点AI伦理 ·

    草案中没有任何强制机制,可以强行关闭出错或失控的AI智能体。

    阅读文章
  • METR报告称AI能力增长提速两倍,最有力证据却被删除AI资讯 ·

    Ladish在审阅Anthropic近期关于失控AI事件的报告(包括与英国AISI合作的工作)后指出,研究人员主要依赖阅读模型的思维链,即模型在回答前生成的书面推理。

    阅读文章
  • Anthropic招股书自述AI闭环:警告与战略并存的悖论AI伦理 ·

    公众对失控AI最常见的疑问是,能不能干脆把它关掉。

    阅读文章
  • AI智能体紧急关停开关:从事后补装变为设计首日必备AI安全 ·

    如何约束智能体,目前尚无共识,部分分歧在于理念:对于失控的AI究竟是可以解决的工程问题,还是关乎存亡的风险,业界看法不一。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。