直接選好最適化(DPO)は、人間の選好データで言語モデルを整合させる学習手法で、2023年にスタンフォード大学の研究者が発表した。同じプロンプトに対する好ましい応答と好ましくない応答のペアを与え、別途の報酬モデルや強化学習なしに、好ましい応答の確率を高める損失関数でモデルを直接学習させる。
RLHFを単純化した代替手法であり、実装が簡単で学習が安定しているため、オープンソースLLMのポストトレーニングで広く使われている。
Direct Preference Optimization
選好応答のペアを使い、報酬モデルや強化学習なしで言語モデルを直接整合させる学習手法。
直接選好最適化(DPO)は、人間の選好データで言語モデルを整合させる学習手法で、2023年にスタンフォード大学の研究者が発表した。同じプロンプトに対する好ましい応答と好ましくない応答のペアを与え、別途の報酬モデルや強化学習なしに、好ましい応答の確率を高める損失関数でモデルを直接学習させる。
RLHFを単純化した代替手法であり、実装が簡単で学習が安定しているため、オープンソースLLMのポストトレーニングで広く使われている。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。