ChatML

一种面向语言模型的对话标记格式,用特殊标记将对话划分为system、user、assistant等角色的消息。

1篇文章最近提及

ChatML(Chat Markup Language)是一种将输入语言模型的对话组织为带角色标签消息序列的文本格式。每条消息以`<|im_start|>`加上system、user、assistant等角色名开始,以`<|im_end|>`标记结束。这样模型能够分辨用户发言在哪里结束、助手回复应在哪里停止,也有助于将指令与普通文本区分开。

OpenAI于2023年随gpt-3.5-turbo API一同推出该格式,此后包括阿里云Qwen系列在内的多个开放权重模型将其采用为聊天模板。使用instruct模型时,分词器提供的聊天模板通常会自动将消息转换为该格式。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 从预训练到GRPO:前沿大模型是如何炼成的AI性能 ·

    即便使用模型原生的ChatML分隔符,也就是标记系统、用户或助手轮次起止的特殊词元,基础模型依然不知道答案什么时候算说完。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。