拒绝采样

rejection sampling

生成大量候选并只保留通过标准者、丢弃其余的方法;在LLM训练中用于筛选正确解答作为训练数据。

1篇文章最近提及

拒绝采样最初是统计学中的一种技术:从易于采样的分布中抽取样本,再丢弃不满足条件的样本,从而得到目标分布的样本。在大语言模型领域,该术语借用这一思想,指让模型针对一个问题生成多个答案或解法,只保留通过验证器或奖励模型标准的部分。

在后训练阶段,将筛选出的正确解法作为监督微调数据重新训练,即rejection sampling fine-tuning,是提升推理能力的一种简单方法。其局限在于丢弃了错误尝试中的全部信息,并对正确解法中的多余标记同样予以强化,因此常以GRPO等通过组内相对比较进行学习的强化学习方法加以补充。推理时生成多个候选并选取最佳者的best-of-n采样也遵循同一原理。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 从预训练到GRPO:前沿大模型是如何炼成的AI性能 ·

    最朴素的做法是拒绝采样:让模型为一道题生成100个分步解答,把正确的留作训练数据,其余丢弃。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。