PPO

근위 정책 최적화

OpenAI가 2017년에 발표한 강화학습 알고리즘으로, 정책이 한 번에 크게 바뀌지 않도록 제한해 학습을 안정시킨다.

기사 1편최근 언급

PPO(Proximal Policy Optimization)는 OpenAI의 John Schulman 등이 2017년에 발표한 강화학습 알고리즘이다. 보상을 높이는 방향으로 정책을 직접 고치는 policy gradient 계열에 속하며, 새 정책이 이전 정책에서 너무 멀어지지 않도록 목적 함수를 일정 범위로 잘라내 학습을 안정시킨다. 앞선 기법인 TRPO보다 구현이 단순하면서 비슷한 안정성을 낸다.

보통 정책 모델과 함께 상태의 가치를 예측하는 가치 모델을 학습시켜 행동이 얼마나 좋았는지를 추정한다. 게임과 로봇 제어에 널리 쓰였고, 사람의 피드백으로 언어 모델을 조정하는 RLHF에도 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • prompt 최적화와 가중치 학습, AI agent에 무엇을 먼저 쓸까AI 성능 ·

    기존 방식인 PPO와 DeepSeekMath 연구에서 나온 GRPO의 차이는 비용에서 드러납니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.