事前学習pretraining
大規模なデータでモデルの基本的な能力を先に学習させる段階。
記事5本
最終言及 事前学習は、大規模なデータでモデルの一般的な能力を先に学習させる段階を指す。大規模言語モデルでは、膨大なテキストで次のトークンを予測するよう学習させる方法が代表的であり、こうして作ったモデルをファインチューニングや追加学習で特定の用途に合わせる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
これに対していまのモデルは、膨大なデータで学ぶ大規模な学習段階である事前学習によって基本的な推論能力を「育て」、ファインチューニングや事後学習はその後に振る舞いを整えるために付け加えられます。
事前学習では、それまでのトークン（モデルが処理するテキストの小さな単位）から次のトークンを予測するようモデルを訓練します。
硬い物体のピック・アンド・プレースは例外で、幅広いデータで事前学習した大規模な基盤モデルのおかげで、商用に十分なほぼ信頼できる水準に近づきました。
2026年9月、Anthropicの事前学習研究者が辞職し、主要な研究所が自己改善する超知能に向けて無謀な競争をしていると非難する投稿が拡散しました。