supervised fine-tuning

지도 미세 조정

pre-training을 마친 언어 모델을 사람이 작성한 지시문과 답변 예시로 추가 학습시켜 비서처럼 응답하게 만드는 post-training 단계다.

기사 1편최근 언급

supervised fine-tuning(SFT, 지도 미세 조정)은 pre-training을 마친 base 모델에 '지시문-모범 답변' 쌍으로 이뤄진 대화 데이터를 학습시키는 post-training 기법이다. 사람 작업자가 쓰거나 다른 모델로 합성한 수만에서 수십만 개의 예시를 쓰며, 각 답변은 stop token으로 끝나도록 구성한다. 이를 거친 모델은 instruct 모델 또는 chat 모델이라 불리고, 일관된 비서 persona를 갖추며 답이 끝나면 생성을 멈춘다.

SFT는 모범 답안을 그대로 따라 쓰게 하는 지도 학습이므로, 보상 신호로 학습하는 reinforcement learning(RLHF, GRPO 등)과 구분된다. 일반적인 LLM post-training은 SFT로 형식과 행동 양식을 먼저 심은 뒤 RL로 선호와 reasoning 능력을 다듬는 순서로 진행된다. 좁은 뜻에서는 특정 작업이나 분야 데이터로 모델을 추가 학습시키는 fine-tuning 전반을 가리키기도 한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    base 모델을 쓸 만한 비서로 바꾸는 것이 post-training, 그 가운데 supervised fine-tuning(SFT, 지도 미세조정)입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.