spotlighting

一种防御间接提示注入的技术,通过分隔标记或编码标示不可信输入,使大语言模型区分数据与指令。

1篇文章最近提及

Spotlighting是一种防御间接提示注入的技术,通过对输入大语言模型的不可信外部数据进行显式标示,使模型不会把其中夹带的文字误认为用户指令而执行。该方法由微软研究人员在2024年发表的论文中提出。

它主要有三种方式:分隔(delimiting)用明确的边界标记包裹外部数据;数据标记(datamarking)在数据全文中穿插特殊字符;编码(encoding)将外部数据转换为base64等格式并告知模型。三者都以系统提示要求模型只把被标示的内容当作数据而非指令为前提。

Spotlighting主要用于读取网页、文档、用户生成内容等来源不可控数据的AI智能体和检索增强生成系统。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • WebMCP安全三注解:让浏览器智能体安全调用网页工具AI安全 ·

    收到这个信号的智能体如果足够成熟,会采用通常称为“聚光”(spotlighting)的防御技术:它可能对不可信载荷做Base64编码,或者用严格的边界标签把它包起来,让语言模型把这部分当作需要描述的数据而不是需要服从的文本。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。