スケーリング則scaling law

スケーリング則（scaling law）は、機械学習においてモデルのパラメータ数、学習データ量、学習に使う計算量を増やすと、損失や性能がべき乗則のような規則的な曲線に沿って改善するという経験的な関係である。

大規模言語モデルの研究で整理された概念で、2020年のOpenAI研究チームの論文と2022年のDeepMind研究チームの論文（Chinchilla）が代表例である。決められた計算予算の中でモデル規模とデータ量をどう配分するかを決める際に使われ、ほかの分野でも同じ関係が成り立つかは個別に確かめる必要がある。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。