top-k采样是一种解码技术:语言模型选择下一词元时只保留概率最高的k个候选,并在其中按概率采样。候选数量固定为k,既能防止概率极低的词元被选中,又比贪心解码产生更多样的输出。
与按累积概率确定候选的top-p不同,它的候选数量不随分布形状变化。通常与temperature和top-p配合使用。
一种将下一词元候选限制为概率最高的k个并在其中采样的解码技术。
top-k采样是一种解码技术:语言模型选择下一词元时只保留概率最高的k个候选,并在其中按概率采样。候选数量固定为k,既能防止概率极低的词元被选中,又比贪心解码产生更多样的输出。
与按累积概率确定候选的top-p不同,它的候选数量不随分布形状变化。通常与temperature和top-p配合使用。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
经验法则由任务决定:数学和代码需要低温度;创意写作需要更高的熵,通常搭配 top-p 或 top-k。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。