逆强化学习(Inverse Reinforcement Learning,IRL)是一种机器学习方法,通过观察agent的行为示范来推断使该行为成为最优的奖励函数。它与从给定奖励函数学习策略的强化学习方向相反。2000年,Andrew Ng和Stuart Russell在论文《Algorithms for Inverse Reinforcement Learning》中将其形式化。
逆强化学习用于机器人控制、自动驾驶和人类偏好推断等难以手工设计奖励函数的场景。与直接复制专家行为的模仿学习(imitation learning)不同,它试图还原行为背后的目标本身,也是通过人类反馈学习奖励模型的RLHF的理论背景之一。