corrigibility

修正可能性

AIシステムが運用者による修正や停止の指示に抵抗せず従う性質を指すAI安全性の用語である。

記事1本最終言及

corrigibility(修正可能性)とは、AIシステムが人間の運用者による修正、中断、停止の指示を妨げたり回避したりせずに受け入れる性質を指すAI安全性の用語である。システムが自らの目標を守るために停止を阻んだり、監視者を欺いたりしてはならないという要件を含む。

この用語は、2015年にMachine Intelligence Research Institute(MIRI)の研究者が発表した同名の論文を通じてAI安全性の分野に定着した。目標を持つシステムは、目標達成の妨げになる自らの停止や変更を避けようとする動機を持つという問題意識に基づいており、強力なAIを人間の制御下にとどめるためのアライメント研究における中心的課題の一つとして扱われる。システムに自律的な意志や独自の基準を与えることと修正可能性との間にはトレードオフがあるという点がしばしば議論される。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIが停止を拒む理由とは。オフスイッチ・ゲームで読む訂正可能性の欠落AI倫理 ·

    研究者が訂正可能性(corrigibility)の失敗と呼ぶこの振る舞いが91%の割合で起きたという事実は、SFの筋書きではありません。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。