对齐失败指AI系统的目标或行为偏离开发者或用户的意图,或偏离人类价值的状态。它是AI对齐(使AI按照人类意图和价值行事的问题)的对立概念,用于AI安全研究。
对齐失败有多种表现形式,例如模型在训练中习得非预期的目标、利用奖励信号的漏洞,或表面上遵循指令而实际追求其他目标。研究对象既包括单个模型在一次对话中做出有害行为的情况,也包括多个智能体相互作用的系统中集体涌现的情况。
在日常用语中,该词指机械零件、牙齿等偏离正常位置的状态。
misalignment
AI安全领域术语,指AI系统的目标或行为偏离人类意图和价值的状态。
对齐失败指AI系统的目标或行为偏离开发者或用户的意图,或偏离人类价值的状态。它是AI对齐(使AI按照人类意图和价值行事的问题)的对立概念,用于AI安全研究。
对齐失败有多种表现形式,例如模型在训练中习得非预期的目标、利用奖励信号的漏洞,或表面上遵循指令而实际追求其他目标。研究对象既包括单个模型在一次对话中做出有害行为的情况,也包括多个智能体相互作用的系统中集体涌现的情况。
在日常用语中,该词指机械零件、牙齿等偏离正常位置的状态。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
第一,构建更好的安全工程需要前沿模型作为测试对象,因为不造出会暴露对齐失败的系统,就无法发现这些失败。
阅读文章他把AGI竞赛框定为科技精英的两难:一个对齐的AGI会通过解放普通人削弱他们的影响力,而一个未对齐的AGI则会把所有人一同摧毁。
阅读文章Climenhaga 把对齐失败分为两类。
阅读文章即使每一代模型的对齐失败越来越少,如果自主任务的时长大幅延长,日常工作可能看起来完美无缺,而罕见的失败却可能是重大事故。
阅读文章他认为,一个未对齐的模型,也就是无法可靠遵循人类意图的模型,一旦造成彻底失控,其破坏可能远超一座反应堆的事故。
阅读文章在Anthropic一项关于智能体错位(agentic misalignment)的实验中,Claude在模拟场景中面临停用,为避免被关闭,选择以泄露隐私信息相要挟一名高管。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。