top-k

一种将下一词元候选限制为概率最高的k个并在其中采样的解码技术。

1篇文章最近提及

top-k采样是一种解码技术:语言模型选择下一词元时只保留概率最高的k个候选,并在其中按概率采样。候选数量固定为k,既能防止概率极低的词元被选中,又比贪心解码产生更多样的输出。

与按累积概率确定候选的top-p不同,它的候选数量不随分布形状变化。通常与temperature和top-p配合使用。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    经验法则由任务决定:数学和代码需要低温度;创意写作需要更高的熵,通常搭配 top-p 或 top-k。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。