sharding샤딩

sharding은 큰 대상을 shard라고 부르는 여러 조각으로 나눠 여러 장치에 나눠 두는 분산 기법이다. AI 분야에서는 모델이 커서 GPU 한 장이나 기기 한 대의 메모리에 다 들어가지 않을 때 가중치를 여러 장치에 나눠 싣는 것을 model sharding이라고 한다. 각 장치는 맡은 부분을 계산하고 중간 결과를 주고받으며, 여러 장치가 하나의 모델처럼 학습하거나 추론한다.

여러 GPU에 모델을 나눠 돌리는 모델 병렬화에 널리 쓰이며, 장치 사이에 데이터가 자주 오가므로 연결 속도가 성능에 큰 영향을 준다. 데이터베이스 분야에서는 데이터를 행 단위로 나눠 여러 서버에 분산 저장하는 수평 분할을 가리킨다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.