ポストトレーニングpost-training

ポストトレーニングは、大量のデータで基本的な能力を身につける事前学習の後に続く学習段階の総称である。指示への追従、対話の仕方、推論能力、安全な応答といったモデルの振る舞いを望ましい方向に整える。

教師ありファインチューニング、人間の選好を反映する強化学習、推論能力を高める強化学習などが用いられる。同じ基盤モデルから用途の異なるモデルを作る際にも使われる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。