検証可能な報酬による強化学習RLVR
RLVRは、正誤を自動で検証できる結果を報酬にして言語モデルを訓練する強化学習の手法。
記事1本
最終言及 RLVR（検証可能な報酬による強化学習）は、数学の答えが正しいか、コードがテストに通るかといった自動で検証できる結果を報酬にして、言語モデルを訓練する強化学習の手法である。人間の選好評価から作った報酬モデルを使うRLHFとは異なり、ルールや検証器で答えの正誤を判定して報酬を与える。
主に数学やプログラミングのように答えを確かめられる課題で、大規模言語モデルの推論能力を高めるために使われる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。