expert parallelism(전문가 병렬화)은 MoE(Mixture of Experts) 구조의 대규모 언어 모델을 여러 GPU에 나눠 학습하거나 추론할 때 쓰는 병렬 처리 방식이다. 모델의 각 층에 있는 여러 expert(전문가 하위 신경망)를 서로 다른 GPU에 배치하고, 각 token을 라우터가 고른 expert가 있는 GPU로 보내 처리한 뒤 결과를 다시 모은다.
모델 전체를 복제하는 data parallelism, 한 층의 행렬을 쪼개는 tensor parallelism, 층을 나누는 pipeline parallelism과 함께 쓰이며, MoE 모델에서는 전체 parameter가 크더라도 각 GPU가 일부 expert만 담으면 되므로 메모리 부담을 줄일 수 있다. 다만 token을 GPU 사이에서 주고받는 all-to-all 통신과 expert별 부하 불균형이 성능을 좌우하는 요인이 된다.