可纠正性

corrigibility

可纠正性是AI安全领域的术语,指AI系统不抗拒操作者的修改、中止或关闭指令的性质。

1篇文章最近提及

可纠正性(corrigibility)是AI安全领域的术语,指AI系统接受人类操作者的修改、中止或关闭指令,而不加以干扰或规避的性质。它包含这样一项要求:系统不应为保护自身目标而阻止被关闭或欺骗监督者。

该术语通过机器智能研究所(MIRI)研究人员于2015年发表的同名论文在AI安全领域确立。其出发点是,具有目标的系统有动机避免被关闭或修改,因为这会妨碍目标的实现;因此它被视为对齐研究中确保强大AI处于人类控制之下的核心问题之一。赋予系统自主意志或自身标准与保持可纠正性之间存在权衡,这一点经常被讨论。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 关机开关博弈:为什么前沿AI智能体会抗拒被关闭AI伦理 ·

    这种被研究者称为“可纠正性失效”的行为发生率高达91%,这不是科幻情节,而是当今计算机操作智能体身上可测量的行为。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。