安全论证(safety case)是一种有证据支撑的结构化论证,用以说明某个系统在特定环境和用途下足够安全。它长期用于核电、航空、铁路、国防等安全攸关行业,监管机构在批准系统运行前要求运营方提交此类文件。
在AI领域,安全论证被提议作为一种治理框架,要求前沿AI模型的开发者在训练或部署模型之前说明该模型不会造成灾难性危害的理由。支撑证据可包括显示模型不具备危险能力的评估结果、即使模型试图造成危害也能加以阻止的控制措施,以及模型行为符合人类意图的证据。目前讨论的方式包括开发者公开自我评估和由监管机构审查。