PPO(Proximal Policy Optimization)は、OpenAIのジョン・シュルマンらが2017年に発表した強化学習アルゴリズムである。報酬が高まる方向へ方策を直接更新する方策勾配法の一種で、新しい方策が以前の方策から離れすぎないよう目的関数を一定の範囲でクリップし、学習を安定させる。先行手法のTRPOより実装が簡単で、同程度の安定性が得られる。
通常は方策モデルとともに、状態の価値を予測する価値モデルを学習させ、行動がどれほど良かったかを推定する。ゲームやロボット制御で広く使われてきたほか、人間のフィードバックで言語モデルを調整するRLHFにも用いられる。