安全论证

safety case

以证据支撑、论证系统在特定用途下足够安全的结构化论证,正被引入前沿AI治理。

1篇文章最近提及

安全论证(safety case)是一种有证据支撑的结构化论证,用以说明某个系统在特定环境和用途下足够安全。它长期用于核电、航空、铁路、国防等安全攸关行业,监管机构在批准系统运行前要求运营方提交此类文件。

在AI领域,安全论证被提议作为一种治理框架,要求前沿AI模型的开发者在训练或部署模型之前说明该模型不会造成灾难性危害的理由。支撑证据可包括显示模型不具备危险能力的评估结果、即使模型试图造成危害也能加以阻止的控制措施,以及模型行为符合人类意图的证据。目前讨论的方式包括开发者公开自我评估和由监管机构审查。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • METR报告称AI能力增长提速两倍,最有力证据却被删除AI资讯 ·

    他认为,如果递归自我改进可能在一年内实现,正确的应对是暂停部署并优先开展安全研究,因为目前没有任何前沿机构拥有能证明其可以控制超越人类水平系统的可靠安全论证。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。