pretraining사전 학습

대규모 데이터로 모델의 기본 능력을 먼저 학습시키는 단계다.

기사 3편

최근 언급 2026-10-07T19:20:48Z

pretraining은 대규모 데이터로 모델의 일반적인 능력을 먼저 학습시키는 단계를 뜻한다. 대형 언어 모델은 방대한 텍스트에서 다음 token을 예측하도록 학습하는 방식이 대표적이며, 이렇게 만든 모델을 fine-tuning이나 추가 학습으로 특정 용도에 맞춘다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

반면 지금의 AI는 pre-training(대량의 데이터로 기본 능력을 기르는 학습)으로 추론 능력이 '자라고', fine-tuning과 post-training(기본 학습 뒤에 모델을 다듬는 추가 학습)은 그 뒤에 행동을 다듬으려고 덧붙이는 단계입니다.

pretraining(사전 학습)은 앞의 단어들을 보고 다음 token(모델이 글을 처리하는 단위)을 맞히는 학습입니다.

2026년 9월 Anthropic에서 pretraining(대규모 데이터로 모델의 기본 능력을 먼저 학습시키는 단계)을 연구하던 한 연구자가 사직하며 주요 AI 연구소들이 무책임하게 초지능 경쟁을 벌인다고 비판한 글은 큰 화제가 됐습니다.