mid-training미드트레이닝

mid-training은 대규모 언어 모델을 만들 때 방대한 데이터로 기본 능력을 기르는 사전 학습(pre-training)과, 지시 따르기 학습이나 강화 학습으로 모델을 다듬는 사후 학습(post-training) 사이에 놓이는 학습 단계다. 수학, 코드, 추론, 긴 문맥 처리처럼 보강하려는 능력에 맞춰 고른 고품질 데이터로 모델을 계속 학습시킨다.

사후 학습에 앞서 바탕 모델의 능력을 보강하는 과정이며, 쓰는 데이터와 방법은 개발 기관마다 다르다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.