DAPO(Decoupled Clip and Dynamic sAmpling Policy Optimization)は、大規模言語モデルの推論能力を強化学習で高めるためのアルゴリズムである。2025年にByteDanceのSeedチームと清華大学AIR研究所が公開し、アルゴリズムとともに学習コードとデータセットをオープンソースで提供した。
DAPOはDeepSeek-R1などで使われたGRPO(Group Relative Policy Optimization)を基礎とし、4つの手法を加えている。方策更新のクリップ上限を下限から切り離して広げるclip-higher、サンプリングした応答が全て正解または全て不正解で学習信号が得られないプロンプトを除くdynamic sampling、応答単位ではなくトークン単位で損失を計算するtoken-level policy gradient loss、過度に長い応答に段階的なペナルティを与えるoverlong reward shapingである。これらにより、長い思考連鎖の推論学習で起きやすいエントロピー崩壊や学習の不安定さを抑えることを狙う。
公開時には、Qwen2.5-32Bを基にしたモデルをDAPOで学習し、数学競技ベンチマークAIME 2024で従来の公開手法より少ない学習ステップで高い得点を得た結果が示された。以降、言語モデルの強化学習における方策最適化手法の一つとして広く使われている。