DeepEP是中国AI公司DeepSeek开发的开源通信库。它旨在加速专家并行中的all-to-all通信,即在将MoE(混合专家)模型分布到多块GPU上运行时,把token分发到各专家所在的GPU并收集结果。该库于2025年2月DeepSeek开源周期间发布。
它同时支持服务器内的NVLink和服务器间的RDMA通信,并分别提供面向训练和预填充的高吞吐内核以及面向解码的低延迟内核。它是DeepSeek推理引擎DeepInfer所依赖的库之一。
DeepEP是DeepSeek于2025年开源的面向MoE模型专家并行的GPU通信库。
DeepEP是中国AI公司DeepSeek开发的开源通信库。它旨在加速专家并行中的all-to-all通信,即在将MoE(混合专家)模型分布到多块GPU上运行时,把token分发到各专家所在的GPU并收集结果。该库于2025年2月DeepSeek开源周期间发布。
它同时支持服务器内的NVLink和服务器间的RDMA通信,并分别提供面向训练和预填充的高吞吐内核以及面向解码的低延迟内核。它是DeepSeek推理引擎DeepInfer所依赖的库之一。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
DeepEP:用于专家并行的内核
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。