DAPO

字节跳动Seed团队与清华大学于2025年发布的面向大语言模型的开源强化学习算法,在GRPO基础上改进了推理能力训练的稳定性与效率。

1篇文章最近提及

DAPO(Decoupled Clip and Dynamic sAmpling Policy Optimization)是一种用于通过强化学习提升大语言模型推理能力的算法。它由字节跳动Seed团队与清华大学智能产业研究院(AIR)于2025年发布,算法连同训练代码和数据集一并开源。

DAPO以DeepSeek-R1等模型所用的GRPO(Group Relative Policy Optimization)为基础,增加了四项技术:将策略更新裁剪上限与下限解耦并放宽的clip-higher;过滤掉采样回答全对或全错、无法提供学习信号的提示词的dynamic sampling;按token而非按整条回答计算损失的token-level policy gradient loss;以及对过长回答逐步施加惩罚的overlong reward shaping。这些技术旨在缓解长思维链推理训练中常见的熵崩塌和训练不稳定问题。

发布时的结果显示,基于Qwen2.5-32B并使用DAPO训练的模型在数学竞赛基准AIME 2024上以更少的训练步数取得了高于此前公开方法的分数。此后,DAPO成为语言模型强化学习中广泛使用的策略优化方法之一。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • Arena研究:让智能体试玩再评判AI生成的游戏与网页AI性能 ·

    在训练阶段的应用上,团队用DAPO(Direct Alignment and Preference Optimization)更新,对一个Qwen 2.5 9B生成器进行强化学习。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。