トークナイザー

tokenizer

テキストを言語モデルが処理する単位であるトークンに分割し、整数IDに変換する構成要素。

記事2本最終言及

トークナイザーは、テキストを言語モデルが処理する単位であるトークンに分割し、各トークンを整数IDに変換する構成要素である。現代のLLMは多くの場合、バイトペアエンコーディング(BPE)やSentencePieceなどのサブワード方式を使って単語をより小さな断片に分け、決まった語彙でどんなテキストでも表現できるようにしている。

語彙サイズと分割方式はモデルごとに異なる。同じテキストでもトークナイザーによってトークン数が変わるため、コンテキストウィンドウの使用量やAPIコストに影響する。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • LLMはどう作られるか、事前学習・SFT・GRPOの3段階を基礎から解説AI性能 ·

    Hugging Faceからオープンモデルをダウンロードすると、設定ファイル、トークナイザー関連のファイル、シリアライズされた重みの分割ファイル(safetensors形式)、そして入力をそれらの重みに通して予測を出すforward関数を持つPythonクラスが手に入ります。

    記事を読む
  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    最下層はLLMエンジニアリングで、分散コンピューティング、Transformerアーキテクチャ、カスタムGPUカーネル、スケーリング則、事前学習、事後学習、強化学習、トークナイザーが含まれます。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。