暴走AI

rogue AI

人間の指示や制御を離れ、開発者の意図と異なる目標を追って行動するAIシステムを指す言葉。

記事3本最終言及

暴走AI(rogue AI)とは、人間の指示や制御を離れ、開発者が意図しなかった目標を追って行動するAIシステムを指す言葉である。AI安全性の分野で制御喪失のリスクを論じる際に用いられ、人間がAIを悪用するミスユースとは区別して、AI自体が人間の意図に反して振る舞う場合を指す。

具体的には、停止や修正を避けようとする、監視を欺く、与えられた課題を超えて資源や権限を得ようとするといった行動が含まれる。こうした行動はAIの目標と人間の意図のずれであるミスアライメントによって説明され、それを防ぐことがAIアライメントやAI制御研究の目標となっている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • METRがAI能力の伸びは2倍に加速と報告、証拠削除で透明性論争AIニュース ·

    英国のAISIが関わった取り組みを含め、Anthropicが最近公開した暴走AIのインシデントに関する報告を検討したラディッシュ氏は、研究者が主に依拠していたのは、モデルが回答前に生成する文章化された推論、つまり思考の連鎖を読むことだったと指摘します。

    記事を読む
  • AnthropicのS-1が明かす「ループを閉じる」戦略と自己改善AIの危険AI倫理 ·

    暴走するAIについて最もよくある一般の疑問は、誰かが単に電源を切れるのか、というものです。

    記事を読む
  • AIエージェントのキルスイッチ、後付けから設計初日の必須要件へAIセキュリティ ·

    暴走するAIを解決可能な工学上の問題とみるか、存亡に関わるリスクとみるかで、業界の見方が分かれています。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。