スポットライティング

spotlighting

LLMに与える信頼できない外部データを区切りや符号化で明示し、隠れた指示に従わないようにするプロンプトインジェクション防御手法である。

記事1本最終言及

スポットライティング(spotlighting)は、大規模言語モデルに与える信頼できない外部データを明示的に印付けし、その中に紛れ込んだ文をモデルがユーザーの指示と誤認して実行しないようにする、間接プロンプトインジェクションの防御手法である。Microsoftの研究者が2024年に発表した論文で提案した。

主に3つの方式がある。区切り(delimiting)は外部データを明確な境界記号で囲み、データマーキング(datamarking)はデータ全体に特殊文字を差し挟み、符号化(encoding)は外部データをbase64などの形式に変換したうえでその旨をモデルに伝える。いずれも、印付けされた部分を指示ではなくデータとしてのみ扱うようシステムプロンプトでモデルに指示することを前提とする。

ウェブページ、文書、ユーザー生成コンテンツなど、出所を管理できないデータを読み取るAIエージェントやRAGシステムで主に用いられる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • WebMCPのツールに加える3つのセキュリティヒントの使い方AIセキュリティ ·

    この信号を受け取った有能なエージェントは、スポットライティングと呼ばれることの多い防御手法を適用します。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。