チャットテンプレート

chat template

会話メッセージの一覧を言語モデルが処理する1つのテキストに変換する書式規則を定義したテンプレート。

記事1本最終言及

チャットテンプレートは、system・user・assistantなどの役割を持つ会話メッセージの一覧を、言語モデルが入力として受け取る1つのトークン列に変換する規則を定義したテンプレートである。モデルごとに役割の区切り記号や特殊トークンが異なるため、学習時と同じ書式で入力を組み立てる必要がある。

Hugging Faceのtransformersライブラリは、Jinja構文で書いたチャットテンプレートをトークナイザー設定に含めて配布する方式を広め、llama.cppなどの推論エンジンもGGUFファイルに含まれる同じテンプレートを読み取って利用する。テンプレートはsystemメッセージの位置やツール呼び出しの書式といった制約も定めるため、モデルが想定しないメッセージ順序が入るとエラーになることがある。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • ローカルLLMでコーディングエージェント4種を比較、修正数の差はわずかAI性能 ·

    コンテキスト長は20万トークン、フラッシュアテンション有効、スロットは1つ( )、キーと値のキャッシュはq40で量子化、バッチサイズは4096と512、ドラフトトークン最大2つのMTP投機的デコーディング、そしてチャットテンプレート用の フラグです。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。