scaling law스케일링 법칙

scaling law(스케일링 법칙)는 기계 학습에서 모델의 매개변수 수, 학습 데이터 양, 학습에 쓰는 계산량을 늘릴 때 손실이나 성능이 거듭제곱 법칙 같은 규칙적인 곡선을 따라 좋아진다는 경험적 관계다.

대규모 언어 모델 연구에서 정리된 개념으로, 2020년 OpenAI 연구진과 2022년 DeepMind 연구진(Chinchilla)의 논문이 대표적이다. 정해진 계산 예산 안에서 모델 크기와 데이터 양을 어떻게 나눌지 정하는 데 쓰이며, 다른 분야에서도 같은 관계가 성립하는지는 따로 확인해야 한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.