束搜索

beam search

一种在每一步同时保留多条候选词元序列、以寻找整体概率较高输出的解码方法。

1篇文章最近提及

束搜索是一种解码算法:语言模型在生成文本的每一步同时保留固定数量(束宽)的高概率候选词元序列,最后选出整体概率最高的序列。与每一步只选单个最高概率词元的贪心解码相比,它能找到整体概率更高的输出,但需要同时计算多个候选状态,时间和内存开销更大。

它长期用于机器翻译、语音识别等正确输出相对单一的任务。在对话式LLM服务中,出于成本和多样性考虑,基于采样的解码(temperature、top-k、top-p)更为常用。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    束搜索 同时跟踪多个候选序列 整体序列似然更高,但耗费多得多的时间和内存

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。