エキスパート並列

Expert Parallelism

エキスパート並列は、MoEモデルのエキスパートを複数のGPUに分散配置して並列に実行する分散処理方式である。

記事1本最終言及

エキスパート並列(expert parallelism)は、MoE(Mixture of Experts)構造の大規模言語モデルを複数のGPUに分散して学習または推論する際に用いる並列処理方式である。各層にある複数のエキスパート(専門のサブネットワーク)を異なるGPUに配置し、各トークンをルーターが選んだエキスパートのあるGPUへ送って処理した後、結果を再び集める。

モデル全体を複製するデータ並列、層内の行列を分割するテンソル並列、層を分けるパイプライン並列と組み合わせて使われ、MoEモデルでは各GPUが一部のエキスパートだけを保持すればよいため、総パラメータ数が大きくてもメモリ負担を抑えられる。一方で、GPU間でトークンをやり取りする all-to-all 通信とエキスパートごとの負荷の偏りが性能を左右する要因となる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • DeepSeekがV4.1-Flashと推論エンジン公開、コーディング費用は14分の1にAIニュース ·

    DeepEP:エキスパート並列向けのカーネル

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。