DAPO(Decoupled Clip and Dynamic sAmpling Policy Optimization)는 대규모 언어 모델의 추론 능력을 강화 학습으로 끌어올리기 위한 알고리즘이다. 2025년 ByteDance Seed 팀과 칭화대학교 AIR 연구소가 공개했으며, 알고리즘과 학습 코드, 데이터셋을 오픈소스로 함께 내놓았다.
DAPO는 DeepSeek-R1 등에 쓰인 GRPO(Group Relative Policy Optimization)를 바탕으로 네 가지 기법을 더한 것이다. 정책 갱신 범위의 상한을 하한과 분리해 더 넓게 두는 clip-higher, 모든 응답이 모두 맞거나 모두 틀려 학습 신호가 사라지는 prompt를 걸러 내는 dynamic sampling, 응답 단위가 아닌 token 단위로 손실을 계산하는 token-level policy gradient loss, 지나치게 긴 응답에 단계적으로 벌점을 주는 overlong reward shaping이 그것이다. 이 기법들로 긴 사고 사슬 추론 학습에서 흔한 엔트로피 붕괴와 학습 불안정을 줄이는 것을 목표로 한다.
Qwen2.5-32B 기반 모델을 DAPO로 학습해 수학 경시 benchmark인 AIME 2024에서 기존 공개 방법보다 적은 학습 단계로 더 높은 점수를 얻은 결과가 함께 발표됐다. 이후 언어 모델 강화 학습의 정책 최적화 방법 가운데 하나로 널리 쓰인다.