专家并行(expert parallelism)是在多块GPU上训练或推理MoE(混合专家)架构大语言模型时采用的一种并行处理方式。模型每一层中的多个专家(专门化的子网络)被放置在不同的GPU上,每个token被发送到路由器所选专家所在的GPU上处理,然后再把结果收集回来。
它通常与复制整个模型的数据并行、拆分层内矩阵的张量并行以及按层划分的流水线并行配合使用。由于每块GPU只需保存部分专家,即使MoE模型总参数量很大,也能降低显存压力。GPU之间传输token的all-to-all通信以及各专家之间的负载不均衡是影响其性能的主要因素。