DeepEP

DeepEPは、DeepSeekが2025年に公開したMoEモデルのエキスパート並列向けGPU通信ライブラリである。

記事1本最終言及

DeepEPは、中国のAI企業DeepSeekが開発したオープンソースの通信ライブラリである。MoE(Mixture of Experts)モデルを複数のGPUに分散して実行するエキスパート並列において、トークンを各エキスパートのあるGPUへ送り結果を集める all-to-all 通信を高速に処理するよう設計されており、2025年2月のDeepSeekのオープンソース公開週間で公開された。

サーバー内のNVLinkとサーバー間のRDMAの両方に対応し、学習とプリフィル向けの高スループットカーネルと、デコーディング向けの低遅延カーネルを別々に提供する。DeepSeekの推論エンジンDeepInferの基盤となるライブラリの一つである。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • DeepSeekがV4.1-Flashと推論エンジン公開、コーディング費用は14分の1にAIニュース ·

    DeepEP:エキスパート並列向けのカーネル

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。