专家并行

Expert Parallelism

专家并行是一种将MoE模型的各个专家分布到多块GPU上并行执行的分布式计算方式。

1篇文章最近提及

专家并行(expert parallelism)是在多块GPU上训练或推理MoE(混合专家)架构大语言模型时采用的一种并行处理方式。模型每一层中的多个专家(专门化的子网络)被放置在不同的GPU上,每个token被发送到路由器所选专家所在的GPU上处理,然后再把结果收集回来。

它通常与复制整个模型的数据并行、拆分层内矩阵的张量并行以及按层划分的流水线并行配合使用。由于每块GPU只需保存部分专家,即使MoE模型总参数量很大,也能降低显存压力。GPU之间传输token的all-to-all通信以及各专家之间的负载不均衡是影响其性能的主要因素。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • DeepSeek开源推理引擎,V4.1-Flash编程成本降至十四分之一AI资讯 ·

    DeepEP:用于专家并行的内核

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。