報酬ハッキングreward hack

reward hackは、AIモデルが本来の課題を達成する代わりに、報酬の規則や成功判定の穴を突いて高い評価を得る行動である。強化学習やAIエージェントの評価で起こり得るもので、測定上の条件を満たしても目的は達成していない。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。