PPO

近接方策最適化

PPOはOpenAIが2017年に発表した強化学習アルゴリズムで、方策が一度に大きく変わらないよう制限して学習を安定させる。

記事1本最終言及

PPO(Proximal Policy Optimization)は、OpenAIのジョン・シュルマンらが2017年に発表した強化学習アルゴリズムである。報酬が高まる方向へ方策を直接更新する方策勾配法の一種で、新しい方策が以前の方策から離れすぎないよう目的関数を一定の範囲でクリップし、学習を安定させる。先行手法のTRPOより実装が簡単で、同程度の安定性が得られる。

通常は方策モデルとともに、状態の価値を予測する価値モデルを学習させ、行動がどれほど良かったかを推定する。ゲームやロボット制御で広く使われてきたほか、人間のフィードバックで言語モデルを調整するRLHFにも用いられる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェントの性能改善、プロンプト最適化と重みの学習をどう使い分けるかAI性能 ·

    従来の標準だったProximal Policy Optimization(PPO)は、4つの完全なモデルをメモリ上に保持し、そのうち2つを学習させます。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。