约束解码

constrained decoding

一种限制语言模型只生成符合JSON模式或语法等格式规则的词元的技术。

1篇文章最近提及

约束解码是一种在语言模型生成词元时限制其概率分布的技术,使模型只能选择符合JSON模式、语法或正则表达式等格式规则的词元。每一步将违反规则的词元概率置为零,从而保证输出必定遵循指定结构。

它用于结构化输出、函数调用、工具使用等需要程序直接读取模型输出的智能体应用。Outlines、SGLang、vLLM等库和推理引擎将格式编译为有限状态机来实现,并可在规则只允许唯一词元的位置跳过模型调用以提高吞吐量。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    约束解码强制生成过程遵循正则表达式或 JSON schema。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。