逆強化学習

Inverse Reinforcement Learning

観察した行動から、その行動を生み出した報酬関数を逆向きに推定する機械学習の手法。

記事1本最終言及

逆強化学習(Inverse Reinforcement Learning、IRL)は、agentの行動のデモンストレーションを観察し、その行動が最適となる報酬関数を推定する機械学習の手法である。与えられた報酬関数から方策を学ぶ強化学習とは方向が逆になる。2000年にAndrew NgとStuart Russellが論文「Algorithms for Inverse Reinforcement Learning」で定式化した。

報酬関数を人手で設計しにくいロボット制御、自動運転、人間の選好推定などに用いられる。専門家の行動をそのまま模倣する模倣学習(imitation learning)とは異なり、行動の背後にある目標そのものを復元しようとするもので、人間のフィードバックから報酬モデルを学習するRLHFの理論的背景でもある。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIが停止を拒む理由とは。オフスイッチ・ゲームで読む訂正可能性の欠落AI倫理 ·

    その系譜は、エージェントが環境からの報酬を基に状態から行動への方策を学ぶ古典的な強化学習(RL)と、2000年にアンドリュー・ンとスチュアート・ラッセルが定式化した逆強化学習(IRL)にさかのぼります。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。