safety case는 어떤 시스템이 정해진 환경과 용도에서 받아들일 수 있을 만큼 안전하다는 주장을 증거와 함께 구조화해 제시하는 논증이다. 원자력, 항공, 철도, 방위 같은 안전이 중요한 산업에서 규제 기관이 시스템 운영을 승인하기 전에 사업자에게 요구하는 문서로 오래 쓰여 왔다.
AI 분야에서는 frontier AI(가장 앞선 AI 모델) 개발사가 모델을 학습하거나 배포하기 전에 그 모델이 파국적 위험을 일으키지 않는다는 근거를 제시하도록 하는 관리 체계로 제안됐다. 위험한 능력이 없다는 평가 결과, 모델이 해를 끼치려 해도 막을 수 있는 통제 수단, 모델이 사람의 의도에 맞게 행동한다는 증거 등이 논증의 근거로 쓰인다. 개발사가 자체 평가를 공개하거나 규제 기관이 검토하는 방식이 논의된다.