棄却サンプリング

rejection sampling

モデルが生成した多数の候補のうち基準を満たすものだけを残し、他を捨てる手法で、LLMの学習では正解の解答のみを選んで学習データに使う。

記事1本最終言及

棄却サンプリングは、もともと統計学において扱いやすい分布から標本を抽出し、条件を満たさない標本を捨てることで目標分布の標本を得る手法である。大規模言語モデルの分野ではこの考え方を借り、1つの問題に対してモデルに複数の解答や解法を生成させ、正答検証器や報酬モデルの基準を通過したものだけを残す方法を指す。

ポストトレーニングでは、こうして選別した正解の解法を教師ありファインチューニングのデータとして再学習させるrejection sampling fine-tuningが、推論能力を高める単純な方法として用いられる。ただし、誤った試行に含まれる情報をすべて捨て、正解の解法内の不要なトークンまで同じように強化してしまう限界があるため、グループ内の相対比較で学習するGRPOのような強化学習手法が補完策として使われる。推論時に複数の候補を生成して最良のものを選ぶbest-of-nサンプリングも同じ原理である。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • LLMはどう作られるか、事前学習・SFT・GRPOの3段階を基礎から解説AI性能 ·

    素朴なアプローチは棄却サンプリングです。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。