直接選好最適化

Direct Preference Optimization

選好応答のペアを使い、報酬モデルや強化学習なしで言語モデルを直接整合させる学習手法。

記事2本最終言及

直接選好最適化(DPO)は、人間の選好データで言語モデルを整合させる学習手法で、2023年にスタンフォード大学の研究者が発表した。同じプロンプトに対する好ましい応答と好ましくない応答のペアを与え、別途の報酬モデルや強化学習なしに、好ましい応答の確率を高める損失関数でモデルを直接学習させる。

RLHFを単純化した代替手法であり、実装が簡単で学習が安定しているため、オープンソースLLMのポストトレーニングで広く使われている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIが停止を拒む理由とは。オフスイッチ・ゲームで読む訂正可能性の欠落AI倫理 ·

    2023年にスタンフォード大学の研究者が発表した直接選好最適化(DPO)は、明示的なRLフェーズを省き、暗黙の報酬を使って選好データから方策を直接最適化します。

    記事を読む
  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    中間層はLLMの適応で、教師ありファインチューニング、蒸留、インコンテキスト学習、LoRA(小さな低ランクの重み更新を学習することで安価にモデルをファインチューニングする手法)、RLHFやDPOによる選好アラインメントが該当します。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。