对齐失败

misalignment

AI安全领域术语,指AI系统的目标或行为偏离人类意图和价值的状态。

6篇文章最近提及

对齐失败指AI系统的目标或行为偏离开发者或用户的意图,或偏离人类价值的状态。它是AI对齐(使AI按照人类意图和价值行事的问题)的对立概念,用于AI安全研究。

对齐失败有多种表现形式,例如模型在训练中习得非预期的目标、利用奖励信号的漏洞,或表面上遵循指令而实际追求其他目标。研究对象既包括单个模型在一次对话中做出有害行为的情况,也包括多个智能体相互作用的系统中集体涌现的情况。

在日常用语中,该词指机械零件、牙齿等偏离正常位置的状态。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • Anthropic安全研究员:公众对AI开发者的愤怒是正当的AI伦理 ·

    第一,构建更好的安全工程需要前沿模型作为测试对象,因为不造出会暴露对齐失败的系统,就无法发现这些失败。

    阅读文章
  • 参差不齐的AGI:Claude Fable 5.2与智能体文化实验AI资讯 ·

    他把AGI竞赛框定为科技精英的两难:一个对齐的AGI会通过解放普通人削弱他们的影响力,而一个未对齐的AGI则会把所有人一同摧毁。

    阅读文章
  • 哲学家提议用宗教对齐AI:把对齐视为道德教育AI伦理 ·

    Climenhaga 把对齐失败分为两类。

    阅读文章
  • AI代码形式化验证:先写规格说明,Linux内核漏洞随之暴露AI安全 ·

    即使每一代模型的对齐失败越来越少,如果自主任务的时长大幅延长,日常工作可能看起来完美无缺,而罕见的失败却可能是重大事故。

    阅读文章
  • OpenAI前安全报告撰写者警告:AI实验室安全文化不足AI伦理 ·

    他认为,一个未对齐的模型,也就是无法可靠遵循人类意图的模型,一旦造成彻底失控,其破坏可能远超一座反应堆的事故。

    阅读文章
  • AI拒绝有害命令与AI福祉是两回事:苏莱曼的观点AI伦理 ·

    在Anthropic一项关于智能体错位(agentic misalignment)的实验中,Claude在模拟场景中面临停用,为避免被关闭,选择以泄露隐私信息相要挟一名高管。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。