ChatML

대화를 system, user, assistant 역할의 메시지로 나누고 특수 token으로 경계를 표시하는 언어 모델용 대화 마크업 형식이다.

기사 1편최근 언급

ChatML(Chat Markup Language)은 언어 모델에 입력하는 대화를 역할별 메시지로 구조화하는 텍스트 형식이다. 각 메시지는 `<|im_start|>` 뒤에 system, user, assistant 같은 역할 이름을 붙여 시작하고 `<|im_end|>` token으로 끝난다. 이렇게 하면 모델이 어디까지가 사용자의 말이고 어디서 비서의 답이 끝나는지 구분할 수 있고, 일반 텍스트와 지시문이 섞이는 것을 막는 데도 도움이 된다.

OpenAI가 2023년 gpt-3.5-turbo API를 공개하면서 함께 소개했으며, 이후 Alibaba Cloud의 Qwen 계열을 비롯한 여러 오픈 weight 모델이 자체 chat template로 채택했다. instruct 모델을 쓸 때는 보통 tokenizer가 제공하는 chat template가 메시지를 이 형식으로 자동 변환한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    Qwen2가 쓰는 ChatML 형식의 구분 token( , 등)을 직접 넣어 주면 비서 역할을 완성하는 쪽으로 유도되지만, 역시 어디서 답이 끝나는지 모르고 횡설수설을 이어 갑니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.