報酬モデルは、AIモデルの出力がどれだけ望ましいかを数値で採点するよう学習させたモデルである。言語モデルを強化学習で調整する際、人間がすべての出力を評価することはできないため、人間の好みを学習した報酬モデルが代わりに報酬信号を生成する。
代表的な用途はRLHF(人間のフィードバックによる強化学習)である。同じプロンプトに対する複数の出力に人間の評価者が順位や一対比較を付け、その選好データで報酬モデルを学習させた後、このモデルの点数を最大化するよう言語モデルを調整する。最終結果のみを評価するアウトカム報酬モデルと、推論の各段階を評価するプロセス報酬モデルに分けることもある。報酬モデルが人間の意図を不完全にしか反映していないと、モデルが採点の抜け穴を突く報酬ハッキングが起こりうる。