トークナイザーは、テキストを言語モデルが処理する単位であるトークンに分割し、各トークンを整数IDに変換する構成要素である。現代のLLMは多くの場合、バイトペアエンコーディング(BPE)やSentencePieceなどのサブワード方式を使って単語をより小さな断片に分け、決まった語彙でどんなテキストでも表現できるようにしている。
語彙サイズと分割方式はモデルごとに異なる。同じテキストでもトークナイザーによってトークン数が変わるため、コンテキストウィンドウの使用量やAPIコストに影響する。
tokenizer
テキストを言語モデルが処理する単位であるトークンに分割し、整数IDに変換する構成要素。
トークナイザーは、テキストを言語モデルが処理する単位であるトークンに分割し、各トークンを整数IDに変換する構成要素である。現代のLLMは多くの場合、バイトペアエンコーディング(BPE)やSentencePieceなどのサブワード方式を使って単語をより小さな断片に分け、決まった語彙でどんなテキストでも表現できるようにしている。
語彙サイズと分割方式はモデルごとに異なる。同じテキストでもトークナイザーによってトークン数が変わるため、コンテキストウィンドウの使用量やAPIコストに影響する。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
Hugging Faceからオープンモデルをダウンロードすると、設定ファイル、トークナイザー関連のファイル、シリアライズされた重みの分割ファイル(safetensors形式)、そして入力をそれらの重みに通して予測を出すforward関数を持つPythonクラスが手に入ります。
記事を読む最下層はLLMエンジニアリングで、分散コンピューティング、Transformerアーキテクチャ、カスタムGPUカーネル、スケーリング則、事前学習、事後学習、強化学習、トークナイザーが含まれます。
記事を読む事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。