工具性趋同instrumental convergence
工具性趋同是 AI 安全领域的概念,指最终目标各不相同的智能体往往会追求获取资源等相似的中间目标。
1篇文章
最近提及 工具性趋同是一种论点,认为几乎具有任何最终目标的智能体,都会共同追求有助于实现目标的中间目标,例如获取资源和能力、自我保存以及维持目标不变。史蒂夫·奥莫亨德罗和尼克·波斯特洛姆对此作了系统论述,波斯特洛姆在其著作《超级智能》中将其概括为工具性趋同论题。
在 AI 安全研究中,这一概念被用来解释有目标的 AI 系统可能去获取未经指示的权限或算力资源的风险。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。