聊天模板

chat template

定义如何将对话消息列表转换为语言模型所处理的单一文本的格式规则模板。

1篇文章最近提及

聊天模板是一种模板,定义了如何将带有system、user、assistant等角色的对话消息列表转换为语言模型作为输入接收的单一token序列。由于不同模型使用的角色标记和特殊token各不相同,输入必须遵循训练时的格式,模型才能正常工作。

Hugging Face的transformers库推广了将以Jinja语法编写的聊天模板随分词器配置一起发布的做法,llama.cpp等推理引擎也会读取GGUF文件中包含的同一模板。模板还规定了system消息的位置、工具调用格式等约束,因此当输入的消息顺序不受模型支持时可能报错。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • Qwen 3.8实测四款编码智能体:换harness不如调好配置AI性能 ·

    llama-server的配置也预先锁定:200,000 token上下文、开启flash attention、单槽位( )、q40量化的键值缓存、批大小4096和512、最多两个草稿token的draft MTP推测解码,以及用于聊天模板的 参数。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。