越狱

jailbreak

通过特制的提示词绕过AI模型的安全规则和限制,诱使其产生被禁止输出的行为。

2篇文章最近提及

在人工智能领域,越狱(jailbreak)指绕过大语言模型等AI模型内置的安全规则和使用限制,使模型生成其原本被设计为拒绝的输出。已知的手法包括让模型进行角色扮演、将指令隐藏在其他语言或编码中、通过长对话逐步引导模型等。

模型开发商为防止越狱,除在训练阶段进行安全训练外,还会部署检查输入和输出的分类器(classifier);这些分类器误拦无害请求的误报问题,是围绕模型限制争议的一个焦点。相关概念提示词注入(prompt injection)指通过隐藏在外部数据中的指令操纵模型,与用户自己试图解除限制的越狱有所区别。

该词原本也指解除智能手机等设备的厂商限制以安装非官方软件的行为。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • Anthropic收紧Claude:订阅买到的只是可随时更改的访问权AI资讯 ·

    6月30日,Anthropic发表文章为其所称的“安全余量”辩护,公开表示会把分类器调校到对很可能无害的提示词也会触发,以此把越狱挡在门外。

    阅读文章
  • 客服AI智能体上线生产:记忆、权限与评估五步走AI应用 ·

    模型可能被越狱、被操纵,或者凭空以为自己拥有并不存在的权限。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。