シャーディングsharding

シャーディングは、大きな対象をシャードと呼ばれる複数の断片に分け、複数の装置に分散して配置する手法である。AI分野では、モデルが大きすぎて1枚のGPUや1台の機器のメモリに収まらない場合に、重みを複数の装置に分けて載せることをモデルシャーディングと呼ぶ。各装置は担当部分を計算して中間結果をやり取りし、全体として一つのモデルのように学習や推論を行う。

複数のGPUにモデルを分けて動かすモデル並列化で広く使われ、装置間で頻繁にデータが行き交うため、接続速度が性能を大きく左右する。データベース分野では、データを行単位で複数のサーバーに分けて保存する水平分割を指す。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。