聊天模板是一种模板,定义了如何将带有system、user、assistant等角色的对话消息列表转换为语言模型作为输入接收的单一token序列。由于不同模型使用的角色标记和特殊token各不相同,输入必须遵循训练时的格式,模型才能正常工作。
Hugging Face的transformers库推广了将以Jinja语法编写的聊天模板随分词器配置一起发布的做法,llama.cpp等推理引擎也会读取GGUF文件中包含的同一模板。模板还规定了system消息的位置、工具调用格式等约束,因此当输入的消息顺序不受模型支持时可能报错。