在人工智能领域,越狱(jailbreak)指绕过大语言模型等AI模型内置的安全规则和使用限制,使模型生成其原本被设计为拒绝的输出。已知的手法包括让模型进行角色扮演、将指令隐藏在其他语言或编码中、通过长对话逐步引导模型等。
模型开发商为防止越狱,除在训练阶段进行安全训练外,还会部署检查输入和输出的分类器(classifier);这些分类器误拦无害请求的误报问题,是围绕模型限制争议的一个焦点。相关概念提示词注入(prompt injection)指通过隐藏在外部数据中的指令操纵模型,与用户自己试图解除限制的越狱有所区别。
该词原本也指解除智能手机等设备的厂商限制以安装非官方软件的行为。