拒绝采样最初是统计学中的一种技术:从易于采样的分布中抽取样本,再丢弃不满足条件的样本,从而得到目标分布的样本。在大语言模型领域,该术语借用这一思想,指让模型针对一个问题生成多个答案或解法,只保留通过验证器或奖励模型标准的部分。
在后训练阶段,将筛选出的正确解法作为监督微调数据重新训练,即rejection sampling fine-tuning,是提升推理能力的一种简单方法。其局限在于丢弃了错误尝试中的全部信息,并对正确解法中的多余标记同样予以强化,因此常以GRPO等通过组内相对比较进行学习的强化学习方法加以补充。推理时生成多个候选并选取最佳者的best-of-n采样也遵循同一原理。