Expert Parallelism

전문가 병렬화

MoE 모델의 expert들을 여러 GPU에 나눠 배치해 병렬로 실행하는 분산 처리 방식이다.

기사 1편최근 언급

expert parallelism(전문가 병렬화)은 MoE(Mixture of Experts) 구조의 대규모 언어 모델을 여러 GPU에 나눠 학습하거나 추론할 때 쓰는 병렬 처리 방식이다. 모델의 각 층에 있는 여러 expert(전문가 하위 신경망)를 서로 다른 GPU에 배치하고, 각 token을 라우터가 고른 expert가 있는 GPU로 보내 처리한 뒤 결과를 다시 모은다.

모델 전체를 복제하는 data parallelism, 한 층의 행렬을 쪼개는 tensor parallelism, 층을 나누는 pipeline parallelism과 함께 쓰이며, MoE 모델에서는 전체 parameter가 크더라도 각 GPU가 일부 expert만 담으면 되므로 메모리 부담을 줄일 수 있다. 다만 token을 GPU 사이에서 주고받는 all-to-all 통신과 expert별 부하 불균형이 성능을 좌우하는 요인이 된다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • DeepSeek, 서빙 엔진 DeepInfer 공개와 $2.10 코딩 비용AI 뉴스 ·

    …MoE(Mixture-of-Experts, 여러 전문가 하위 모델 가운데 일부만 골라 쓰는 구조) 층을 GPU에 고르게 나누는 Expert Parallelism과 EPLB 부하 분산, DSpark speculative decoding(작은 모델로 먼저 예측해 생성 속도를 높이는 기법),…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.