ミッドトレーニングmid-training

ミッドトレーニング（中間学習）は、大規模言語モデルの開発において、膨大なデータで基礎能力を身につける事前学習と、指示追従の学習や強化学習でモデルを仕上げる事後学習の間に位置する学習段階である。数学、コード、推論、長い文脈の処理など、強化したい能力に合わせて選んだ高品質なデータでモデルの学習を続ける。

事後学習に先立って基盤モデルの能力を補強する工程であり、用いるデータや手法は開発元によって異なる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。