セーフティケース

safety case

システムが特定の用途において十分に安全であることを証拠に基づいて体系的に論証したもので、フロンティアAIの管理にも適用が検討されている。

記事1本最終言及

セーフティケース(safety case)とは、あるシステムが定められた環境と用途において許容できる程度に安全であるという主張を、証拠とともに体系的に示した論証である。原子力、航空、鉄道、防衛といった安全性が重要な産業で、規制当局がシステムの運用を承認する前に事業者に求める文書として長く用いられてきた。

AI分野では、フロンティアAIモデルの開発者がモデルの学習や展開に先立って、そのモデルが破滅的な危害をもたらさない根拠を示すよう求める管理枠組みとして提案されている。危険な能力がないことを示す評価結果、モデルが危害を加えようとしても防げる制御手段、モデルが人間の意図に沿って振る舞う証拠などが論証の根拠となる。開発者が自己評価を公開する方式や規制当局が審査する方式が議論されている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • METRがAI能力の伸びは2倍に加速と報告、証拠削除で透明性論争AIニュース ·

    人間を超えるシステムを制御できることを示す堅牢なセーフティケースを、現時点でどのフロンティア組織も持っていないからです。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。