エキスパート並列(expert parallelism)は、MoE(Mixture of Experts)構造の大規模言語モデルを複数のGPUに分散して学習または推論する際に用いる並列処理方式である。各層にある複数のエキスパート(専門のサブネットワーク)を異なるGPUに配置し、各トークンをルーターが選んだエキスパートのあるGPUへ送って処理した後、結果を再び集める。
モデル全体を複製するデータ並列、層内の行列を分割するテンソル並列、層を分けるパイプライン並列と組み合わせて使われ、MoEモデルでは各GPUが一部のエキスパートだけを保持すればよいため、総パラメータ数が大きくてもメモリ負担を抑えられる。一方で、GPU間でトークンをやり取りする all-to-all 通信とエキスパートごとの負荷の偏りが性能を左右する要因となる。