tokenizer

토크나이저

text를 언어 모델이 처리하는 단위인 token으로 쪼개고 정수 ID로 바꾸는 구성 요소다.

기사 2편최근 언급

tokenizer는 text를 언어 모델이 처리하는 단위인 token으로 쪼개고, 각 token을 정수 ID로 바꾸는 구성 요소다. 현대 LLM은 대개 byte pair encoding(BPE)이나 SentencePiece 같은 subword 방식을 써서 단어를 더 작은 조각으로 나누며, 정해진 어휘로 어떤 text든 표현할 수 있다.

어휘 크기와 분할 방식은 모델마다 다르다. 같은 text라도 tokenizer에 따라 token 수가 달라지므로 context window 사용량과 API 비용에 영향을 준다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    Hugging Face에서 모델을 내려받으면 설정 파일, tokenizer 파일, safetensors 형식의 weight 조각들, 그리고 forward 함수를 정의한 Python 클래스가 들어 있습니다.

    기사 읽기
  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    맨 아래는 분산 컴퓨팅, transformer 구조, GPU 커널, scaling law, pretraining과 post-training, tokenizer를 다루는 LLM Engineering입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.