ChatML

会話をsystem、user、assistantの役割ごとのメッセージに分け、特殊トークンで境界を示す言語モデル向けの対話マークアップ形式である。

記事1本最終言及

ChatML(Chat Markup Language)は、言語モデルに入力する会話を役割付きメッセージの列として構造化するテキスト形式である。各メッセージは`<|im_start|>`に続けてsystem、user、assistantなどの役割名で始まり、`<|im_end|>`トークンで終わる。これによりモデルは、ユーザーの発話がどこで終わり、アシスタントの応答をどこで止めるべきかを区別でき、指示と通常のテキストが混ざるのを防ぐのにも役立つ。

OpenAIが2023年にgpt-3.5-turbo APIの公開と合わせて紹介し、その後Alibaba CloudのQwenシリーズをはじめとする複数のオープンウェイトモデルがチャットテンプレートとして採用した。instructモデルを使う際は、通常トークナイザーが提供するチャットテンプレートがメッセージをこの形式へ自動変換する。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • LLMはどう作られるか、事前学習・SFT・GRPOの3段階を基礎から解説AI性能 ·

    モデル固有のChatML区切り、つまりsystem・user・assistantの各ターンの始まりと終わりを示す特殊トークンを使っても、ベースモデルは答えがどこで終わるのかを知りません。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。