distillation증류
distillation은 성능이 높은 교사 모델의 출력을 학습 신호로 삼아 다른 학생 모델을 학습시키는 기계 학습 기법이다.
기사 1편
최근 언급 distillation(지식 증류)은 크고 성능이 높은 교사 모델이 내놓은 출력이나 확률 분포를 학습 신호로 삼아, 더 작거나 새로운 학생 모델이 비슷한 능력을 익히게 하는 기계 학습 기법이다. 2015년 Geoffrey Hinton 등이 발표한 논문으로 널리 알려졌다.
대규모 언어 모델 분야에서는 앞선 모델이 생성한 답변이나 추론 과정을 학습 데이터로 삼아 다른 모델을 학습시키는 방식을 가리키는 말로도 쓰이며, 모델을 작고 빠르게 만들거나 학습 비용을 줄이는 데 활용된다.
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.