奖励模型是经过训练、用数值分数衡量AI模型输出有多理想的模型。在用强化学习调整语言模型时,人类无法逐一评估所有输出,因此由学习了人类偏好的奖励模型代替人类生成奖励信号。
最典型的用途是基于人类反馈的强化学习(RLHF):人类评估者对同一提示的多个输出进行排序或成对比较,用这些偏好数据训练奖励模型,再调整语言模型以最大化奖励模型给出的分数。奖励模型有时分为只评估最终结果的结果奖励模型和评估每个推理步骤的过程奖励模型。如果奖励模型未能完整反映人类意图,模型可能钻评分漏洞,即所谓的奖励黑客。
reward model
奖励模型是经过训练用于为AI模型输出打分的模型,在RLHF等强化学习方法中用于生成奖励信号。
奖励模型是经过训练、用数值分数衡量AI模型输出有多理想的模型。在用强化学习调整语言模型时,人类无法逐一评估所有输出,因此由学习了人类偏好的奖励模型代替人类生成奖励信号。
最典型的用途是基于人类反馈的强化学习(RLHF):人类评估者对同一提示的多个输出进行排序或成对比较,用这些偏好数据训练奖励模型,再调整语言模型以最大化奖励模型给出的分数。奖励模型有时分为只评估最终结果的结果奖励模型和评估每个推理步骤的过程奖励模型。如果奖励模型未能完整反映人类意图,模型可能钻评分漏洞,即所谓的奖励黑客。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
被偏好和被拒绝的输出用于训练一个奖励模型,采用Bradley-Terry公式:一个输出胜过另一个的概率是e^(rp) / (e^(rp) + e^(rr)),模型最小化损失-log P(yp > yr)。
阅读文章第二类是基于Qwen-3.5-9B训练的奖励模型,用视觉编码器处理帧,用文本嵌入处理代码、动作和推理,再由一个线性头输出标量分数。
阅读文章2022年的InstructGPT使用了基于人类反馈的强化学习(RLHF):人类标注者将多个模型输出从最好到最差排序,再用这些成对比较训练奖励模型。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。