分词器是将文本切分为语言模型处理单位(词元)并把每个词元映射为整数ID的组件。现代LLM通常采用字节对编码(BPE)或SentencePiece等子词方法,将单词拆成更小的片段,从而用固定词表表示任意文本。
词表大小和切分方式因模型而异。同一段文本经不同分词器得到的词元数量不同,因而影响上下文窗口占用和API费用。
tokenizer
将文本切分为语言模型处理单位(词元)并映射为整数ID的组件。
分词器是将文本切分为语言模型处理单位(词元)并把每个词元映射为整数ID的组件。现代LLM通常采用字节对编码(BPE)或SentencePiece等子词方法,将单词拆成更小的片段,从而用固定词表表示任意文本。
词表大小和切分方式因模型而异。同一段文本经不同分词器得到的词元数量不同,因而影响上下文窗口占用和API费用。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。