stop token(종료 token)은 언어 모델의 어휘에 포함된 특수 token으로, 텍스트의 끝을 나타낸다. end-of-sequence(EOS) token이라고도 하며, 모델이 생성 과정에서 이 token을 출력하면 추론 시스템이 생성을 멈추고 응답을 돌려준다. ChatML의 `<|im_end|>`나 Llama 계열의 `<|eot_id|>`처럼 모델마다 고유한 표기를 쓴다.
pre-training만 거친 base 모델은 학습 데이터가 끝없이 이어지는 텍스트이기 때문에 멈추는 법을 배우지 못하고 최대 token 수에 닿을 때까지 계속 쓴다. supervised fine-tuning에서 모든 비서 답변 끝에 stop token을 붙여 학습시키면 모델은 답이 끝나는 지점을 익히고 대화의 경계를 지키게 된다. API에서 사용자가 특정 문자열을 지정해 생성을 멈추게 하는 stop sequence도 같은 역할을 한다.