DAPO(Decoupled Clip and Dynamic sAmpling Policy Optimization)是一种用于通过强化学习提升大语言模型推理能力的算法。它由字节跳动Seed团队与清华大学智能产业研究院(AIR)于2025年发布,算法连同训练代码和数据集一并开源。
DAPO以DeepSeek-R1等模型所用的GRPO(Group Relative Policy Optimization)为基础,增加了四项技术:将策略更新裁剪上限与下限解耦并放宽的clip-higher;过滤掉采样回答全对或全错、无法提供学习信号的提示词的dynamic sampling;按token而非按整条回答计算损失的token-level policy gradient loss;以及对过长回答逐步施加惩罚的overlong reward shaping。这些技术旨在缓解长思维链推理训练中常见的熵崩塌和训练不稳定问题。
发布时的结果显示,基于Qwen2.5-32B并使用DAPO训练的模型在数学竞赛基准AIME 2024上以更少的训练步数取得了高于此前公开方法的分数。此后,DAPO成为语言模型强化学习中广泛使用的策略优化方法之一。