tokenizer는 text를 언어 모델이 처리하는 단위인 token으로 쪼개고, 각 token을 정수 ID로 바꾸는 구성 요소다. 현대 LLM은 대개 byte pair encoding(BPE)이나 SentencePiece 같은 subword 방식을 써서 단어를 더 작은 조각으로 나누며, 정해진 어휘로 어떤 text든 표현할 수 있다.
어휘 크기와 분할 방식은 모델마다 다르다. 같은 text라도 tokenizer에 따라 token 수가 달라지므로 context window 사용량과 API 비용에 영향을 준다.