ジェイルブレイク

jailbreak

特殊なプロンプトでAIモデルの安全規則や制限を回避し、禁止された出力を引き出す行為である。

記事2本最終言及

AI分野におけるジェイルブレイク(jailbreak)とは、大規模言語モデルなどのAIモデルに設けられた安全規則や利用制限を回避し、本来は拒否するよう設計された出力をモデルに生成させる行為を指す。ロールプレイをさせる、指示を別の言語や符号に隠す、長い対話で徐々に誘導するなど、さまざまな手法が知られている。

モデル開発企業はジェイルブレイクを防ぐため、学習段階での安全訓練に加えて入力と出力を検査する分類器(classifier)を設けており、この分類器が無害な要求まで遮断する誤検知が、モデルの制限をめぐる議論の一因となっている。類似の概念であるプロンプトインジェクションは、外部データに隠した指示でモデルを操る攻撃を指し、利用者自身が制限を解こうとするジェイルブレイクとは区別される。

本来は、スマートフォンなどの機器でメーカーの制限を解除し、非公式のソフトウェアをインストールする行為を指す言葉でもある。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • Claude Codeがゲーム再現を禁止、有料プランで買えるのは固定機能ではないAIニュース ·

    6月30日にAnthropicは、同社が「安全マージン」と呼ぶものを擁護する文書を公開し、ジェイルブレイクを防ぐために、おそらく無害であるプロンプトにも反応するよう分類器を調整していると率直に述べています。

    記事を読む
  • 顧客対応AIエージェントを本番へ、記憶・権限・評価の5ステップAI活用 ·

    モデルはジェイルブレイクされたり、操られたり、持っていない権限を持っていると思い込んだりすることがあるからです。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。