報酬モデル

reward model

報酬モデルは、AIモデルの出力の良さを点数化するよう学習させたモデルで、RLHFなどの強化学習で報酬信号を生成するために用いられる。

記事3本最終言及

報酬モデルは、AIモデルの出力がどれだけ望ましいかを数値で採点するよう学習させたモデルである。言語モデルを強化学習で調整する際、人間がすべての出力を評価することはできないため、人間の好みを学習した報酬モデルが代わりに報酬信号を生成する。

代表的な用途はRLHF(人間のフィードバックによる強化学習)である。同じプロンプトに対する複数の出力に人間の評価者が順位や一対比較を付け、その選好データで報酬モデルを学習させた後、このモデルの点数を最大化するよう言語モデルを調整する。最終結果のみを評価するアウトカム報酬モデルと、推論の各段階を評価するプロセス報酬モデルに分けることもある。報酬モデルが人間の意図を不完全にしか反映していないと、モデルが採点の抜け穴を突く報酬ハッキングが起こりうる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIが停止を拒む理由とは。オフスイッチ・ゲームで読む訂正可能性の欠落AI倫理 ·

    採用された出力と却下された出力は、Bradley-Terryの定式化を用いて報酬モデルを訓練します。

    記事を読む
  • 生成コードは読まずに遊んで採点、Arenaの新しいAI評価手法AI性能 ·

    2つ目はQwen-3.5-9Bをベースに訓練した報酬モデルで、フレーム用のビジョンエンコーダー、コード・操作・推論用のテキスト埋め込み、スカラーのスコアを出力する線形ヘッドで構成されます。

    記事を読む
  • OpenAIが金融専用モデルを作らなかった理由、ChatGPT金融版の設計思想AIニュース ·

    2022年のInstructGPTは人間のフィードバックによる強化学習(RLHF)を使い、人間のラベラーが複数のモデル出力を最良から最悪まで順位づけし、そのペアごとの比較で報酬モデルを学習させました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。