reward model(보상 모델)은 AI 모델의 출력이 얼마나 바람직한지를 숫자 점수로 매기도록 학습된 모델이다. 언어 모델을 강화학습으로 조정할 때 사람이 모든 출력을 일일이 평가할 수 없으므로, 사람의 선호를 학습한 reward model이 대신 보상 신호를 만든다.
대표적인 용례는 RLHF(사람의 피드백을 이용한 강화학습)다. 같은 prompt에 대한 여러 출력에 사람 평가자가 순위나 쌍대 비교를 매기고, 그 선호 데이터로 reward model을 학습시킨 뒤, 이 모델이 주는 점수를 최대화하도록 언어 모델을 조정한다. 최종 결과만 평가하는 outcome reward model과 추론 단계마다 평가하는 process reward model로 나누기도 한다. reward model이 사람의 의도를 불완전하게 반영하면 모델이 점수의 허점을 파고드는 reward hacking이 생길 수 있다.