DAPO

ByteDance Seedと清華大学が2025年に公開した大規模言語モデル向けの強化学習アルゴリズムで、GRPOを改良して推論能力の学習を安定化・効率化した。

記事1本最終言及

DAPO(Decoupled Clip and Dynamic sAmpling Policy Optimization)は、大規模言語モデルの推論能力を強化学習で高めるためのアルゴリズムである。2025年にByteDanceのSeedチームと清華大学AIR研究所が公開し、アルゴリズムとともに学習コードとデータセットをオープンソースで提供した。

DAPOはDeepSeek-R1などで使われたGRPO(Group Relative Policy Optimization)を基礎とし、4つの手法を加えている。方策更新のクリップ上限を下限から切り離して広げるclip-higher、サンプリングした応答が全て正解または全て不正解で学習信号が得られないプロンプトを除くdynamic sampling、応答単位ではなくトークン単位で損失を計算するtoken-level policy gradient loss、過度に長い応答に段階的なペナルティを与えるoverlong reward shapingである。これらにより、長い思考連鎖の推論学習で起きやすいエントロピー崩壊や学習の不安定さを抑えることを狙う。

公開時には、Qwen2.5-32Bを基にしたモデルをDAPOで学習し、数学競技ベンチマークAIME 2024で従来の公開手法より少ない学習ステップで高い得点を得た結果が示された。以降、言語モデルの強化学習における方策最適化手法の一つとして広く使われている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • 生成コードは読まずに遊んで採点、Arenaの新しいAI評価手法AI性能 ·

    訓練時の利用では、チームはQwen 2.5 9Bの生成モデルに対してDAPO(Direct Alignment and Preference Optimization)の更新で強化学習を実行しました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。