分词器

tokenizer

将文本切分为语言模型处理单位(词元)并映射为整数ID的组件。

2篇文章最近提及

分词器是将文本切分为语言模型处理单位(词元)并把每个词元映射为整数ID的组件。现代LLM通常采用字节对编码(BPE)或SentencePiece等子词方法,将单词拆成更小的片段,从而用固定词表表示任意文本。

词表大小和切分方式因模型而异。同一段文本经不同分词器得到的词元数量不同,因而影响上下文窗口占用和API费用。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 从预训练到GRPO:前沿大模型是如何炼成的AI性能 ·

    从Hugging Face下载一个开放模型,你拿到的是一个配置文件、分词器资源、序列化的权重分片(safetensors文件),以及一个Python类,它的forward函数把输入沿着这些权重传递下去,得出预测。

    阅读文章
  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    最底层是 LLM 工程:分布式计算、Transformer 架构、定制 GPU 内核、缩放定律、预训练、后训练、强化学习和分词器。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。