DAPO

ByteDance Seed와 칭화대학교가 2025년 공개한 대규모 언어 모델용 강화 학습 알고리즘으로, GRPO를 개선해 추론 능력 학습의 안정성과 효율을 높였다.

기사 1편최근 언급

DAPO(Decoupled Clip and Dynamic sAmpling Policy Optimization)는 대규모 언어 모델의 추론 능력을 강화 학습으로 끌어올리기 위한 알고리즘이다. 2025년 ByteDance Seed 팀과 칭화대학교 AIR 연구소가 공개했으며, 알고리즘과 학습 코드, 데이터셋을 오픈소스로 함께 내놓았다.

DAPO는 DeepSeek-R1 등에 쓰인 GRPO(Group Relative Policy Optimization)를 바탕으로 네 가지 기법을 더한 것이다. 정책 갱신 범위의 상한을 하한과 분리해 더 넓게 두는 clip-higher, 모든 응답이 모두 맞거나 모두 틀려 학습 신호가 사라지는 prompt를 걸러 내는 dynamic sampling, 응답 단위가 아닌 token 단위로 손실을 계산하는 token-level policy gradient loss, 지나치게 긴 응답에 단계적으로 벌점을 주는 overlong reward shaping이 그것이다. 이 기법들로 긴 사고 사슬 추론 학습에서 흔한 엔트로피 붕괴와 학습 불안정을 줄이는 것을 목표로 한다.

Qwen2.5-32B 기반 모델을 DAPO로 학습해 수학 경시 benchmark인 AIME 2024에서 기존 공개 방법보다 적은 학습 단계로 더 높은 점수를 얻은 결과가 함께 발표됐다. 이후 언어 모델 강화 학습의 정책 최적화 방법 가운데 하나로 널리 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 코드만 보면 못 잡는 버그, computer-use agent가 눌러 보며 찾는다AI 성능 ·

    생성 모델이 코드를 만들면 이를 앱으로 렌더링하고, computer-use agent가 상호작용해 기록을 남기고, interaction reward model이 점수를 매겨 DAPO로 정책을 갱신하는 루프입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.