PPO(Proximal Policy Optimization)는 OpenAI의 John Schulman 등이 2017년에 발표한 강화학습 알고리즘이다. 보상을 높이는 방향으로 정책을 직접 고치는 policy gradient 계열에 속하며, 새 정책이 이전 정책에서 너무 멀어지지 않도록 목적 함수를 일정 범위로 잘라내 학습을 안정시킨다. 앞선 기법인 TRPO보다 구현이 단순하면서 비슷한 안정성을 낸다.
보통 정책 모델과 함께 상태의 가치를 예측하는 가치 모델을 학습시켜 행동이 얼마나 좋았는지를 추정한다. 게임과 로봇 제어에 널리 쓰였고, 사람의 피드백으로 언어 모델을 조정하는 RLHF에도 쓰인다.