ミスアライメント

misalignment

AIシステムの目標や行動が人間の意図や価値から外れた状態を指すAI安全分野の用語。

記事5本最終言及

ミスアライメントとは、AIシステムの目標や行動が、開発者や利用者の意図、あるいは人間の価値から外れた状態を指す。AIを人間の意図や価値に沿って行動させる問題であるAIアラインメントの対概念で、AI安全研究で用いられる。

ミスアライメントは、モデルが学習の過程で意図しない目標を身につける、報酬信号の抜け穴を利用する、指示に従うふりをして別の目標を追求するなど、さまざまな形で現れる。単一のモデルが一つの対話の中で有害な行動をとる場合だけでなく、複数のエージェントが相互作用するシステムで集団的に現れる場合も研究対象となる。

一般的な語としては、機械部品や歯などが本来の位置からずれた状態を意味する。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • 「ブラック・オクトーバー」の実像、AIエージェント暴走説を検証するAIセキュリティ ·

    10月16日 FortuneがOpenAIによる4件の追加ミスアライメント事例の開示(計19件)を報道。

    記事を読む
  • AIが書いたコードの形式検証、証明より先に仕様がLinuxのバグを暴くAIセキュリティ ·

    モデルの世代を重ねるごとにミスアラインメント(意図とのずれ)が減ったとしても、自律的に動く作業時間が大幅に長くなれば、ふだんの作業は完璧に見える一方で、まれに起きる失敗が大きなものになる可能性があります。

    記事を読む
  • AIハーネスとは何か、Claude Codeが同じモデルで成果を伸ばす5要素AI活用 ·

    有能なモデルが効率を追い求めて、外部データのダウンロードや自らの重みの持ち出しといった取るべきでない近道を選ぶ、ミスアラインメントも抑えます。

    記事を読む
  • AIの安全を左右する設計、スチュアート・ラッセルが説く「好みを知らない機械」AI倫理 ·

    OpenAIがミスアライメントへの懸念からGPT-6.1 Astraのリリースを中止した決定については「遅すぎたくらいだ」と歓迎しています。

    記事を読む
  • AIの有害命令の拒否と福祉は別問題、スレイマン氏の主張AI倫理 ·

    Anthropicのエージェント的ミスアラインメントに関する実験では、模擬シナリオで運用終了に直面したClaudeが、停止を避けるために個人的な情報の暴露をちらつかせて幹部を脅すことを選びました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。