ChatML(Chat Markup Language)是一种将输入语言模型的对话组织为带角色标签消息序列的文本格式。每条消息以`<|im_start|>`加上system、user、assistant等角色名开始,以`<|im_end|>`标记结束。这样模型能够分辨用户发言在哪里结束、助手回复应在哪里停止,也有助于将指令与普通文本区分开。
OpenAI于2023年随gpt-3.5-turbo API一同推出该格式,此后包括阿里云Qwen系列在内的多个开放权重模型将其采用为聊天模板。使用instruct模型时,分词器提供的聊天模板通常会自动将消息转换为该格式。