stop token

종료 토큰

언어 모델이 생성을 멈춰야 할 지점을 나타내는 특수 token으로, 모델이 이 token을 출력하면 응답이 끝난다.

기사 1편최근 언급

stop token(종료 token)은 언어 모델의 어휘에 포함된 특수 token으로, 텍스트의 끝을 나타낸다. end-of-sequence(EOS) token이라고도 하며, 모델이 생성 과정에서 이 token을 출력하면 추론 시스템이 생성을 멈추고 응답을 돌려준다. ChatML의 `<|im_end|>`나 Llama 계열의 `<|eot_id|>`처럼 모델마다 고유한 표기를 쓴다.

pre-training만 거친 base 모델은 학습 데이터가 끝없이 이어지는 텍스트이기 때문에 멈추는 법을 배우지 못하고 최대 token 수에 닿을 때까지 계속 쓴다. supervised fine-tuning에서 모든 비서 답변 끝에 stop token을 붙여 학습시키면 모델은 답이 끝나는 지점을 익히고 대화의 경계를 지키게 된다. API에서 사용자가 특정 문자열을 지정해 생성을 멈추게 하는 stop sequence도 같은 역할을 한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    사람 작업자와 합성 pipeline이 만든 수만에서 수십만 개(예로 약 10만 개)의 대화 예시를 학습시키는데, 각 비서 답변은 명시적인 stop token(종료 token)으로 끝납니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.