token词元

词元是AI模型切分和处理文本的单位,不一定等同于一个词或一个字符。

57篇文章
最近提及

词元是AI模型处理输入和生成输出时使用的文本单位。一个词元可能是完整的词、词的一部分或标点符号,因此词元数不等于词数或字符数。

词元数用于表示上下文窗口容量、使用量和API计费量。设计领域的token则指用于定义颜色、间距等数值的变量,与AI模型处理文本的单位含义不同。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

把协调者调到Low以上,似乎很少能明显改善协调效果,主要只会增加token成本。

每百万token价格 Haiku 5.5,提示词不超过10万token Haiku 5.5,超过10万token Haiku 4.5 Sonnet 5.5

这种水印的原理是在模型选择token(语言模型读写文本的小单位)时加入轻微的统计偏差。

工具定义占用的token 50多个工具约7.2万个 初始约500个

在一项包含九个部分的测试中,它在256k token的上下文里15次试验全部找到了隐藏的密码,100道编程题通过75道,并在几乎不需要帮助的情况下做出了可运行的网页应用和游戏。

把文本或图片连同一份固定的候选答案列表发过去,它会在约150毫秒内返回每个选项的概率,而且没有需要付费的输出token。

它接收文本,预测下一个最可能出现的token(模型读写文本的小单位)。

花几分钟审阅计划,就能在大量消耗token的工作开始前,发现格式错误、多余章节和错误的数据来源。

消耗的上下文token 约8.4万 约12.9万

预训练是让模型根据前面的词元(token,模型处理文本的小单位)预测下一个词元。

Memories和Chronicle会消耗更多token(模型处理文本的单位),但该团队认为,能换来一个记得项目来龙去脉的智能体,这笔额外成本是值得的。

追踪记录是对智能体一次运行的结构化、嵌套式记录,包含每一轮对话、每次工具调用、提示词、模型响应、token数量、延迟数据和美元成本。

首个token生成时间 0.25秒

科里森表示,由于AI应用每次运行都会产生计算成本,几乎所有现代软件公司都在转向token积分、超额费用和分级计量,就像ChatGPT和Claude那样先给用户一定额度,用完后再出售更多积分。

一个模型实例每秒大约输出50到60个token,回答简单问题绰绰有余,但用于多步骤的工程任务就显得太慢。

像“欢迎光临本店,我们是家族经营的商店”这样的通用店铺文案,会增加无关的词元,也就是模型处理文本的小单位,从而干扰检索。

Muse免费提供,并附带充足的token额度(token是AI模型处理文本的单位),以此建立庞大的用户群。

该模型的上下文窗口,即一次能够考虑的信息量,为12.8万个token。

在另一个例子中,它分多轮评估了一份自建编程语言和强化学习循环的黑客松参赛作品,消耗了超过200万个词元(模型处理文本的单位),同时没有丢失沙箱状态。

在一个把请求分发到众多模型的AI网关上,2024年7月至2025年10月间,任何人都能下载的开放权重模型占token用量的55.8%,超过了闭源模型的44.2%。

普通使用免费,每周可用1亿个token;token是AI模型处理文本的小单位。

Argon的入门价为每百万输入token $2、每百万输出token $10。

100万token输出上限与入门价格

由于这类模型主要是在预测下一个token,也就是模型处理的小段文本单位,其推理过程无法完全对照事实加以核查。

提示词缓存会保存模型已经看过的内容以便复用,能让这部分输入token的成本降低约95%。

把Astra的消息与Anthropic的Claude Sonnet 5.5和Meta的新智能体Muse放在一起看,答案似乎不在排行榜名次,而在于组织如何分配任务、追踪token用量和管控智能体。

大部分token浪费源于使用习惯:不看用量就购买额度,让智能体像人一样在网站上逐页点击,所有任务都用最贵的设置运行,把超大文件直接拖进对话。

无障碍技术最初是为屏幕阅读器开发的,如今它能让语言模型以节省token的方式提取按钮、标签和文本框。

token是模型处理或生成文本时使用的小单位。

每次使用邀请码,双方都会各自获得10亿额外token,最多可使用30次。

其API价格为每百万输入token $2、每百万输出token $10,与Claude Sonnet 5.5的价格相同。

前者提出的问题是,团队能否把工作集中在一处;后者的问题是,更快的输出是否值得更快的token消耗。

与此同时,OpenAI调整了方案用量和token消耗的计算方式。

对开发者而言,最具体的公开数字是缓存输入每百万token $0.10。

协调多个智能体并持续生成共享项目信息,还可能增加token(模型处理文本的单位)用量和延迟。

Claude Sonnet 5.5在一项编程基准测试中领先Claude Opus 5.5,其输入和输出token价格也只有后者的一半。

其API价格按每百万token计算,token是衡量模型处理或生成文本量的单位:

token是AI模型处理文本的单位,而token支出是为这些算力付费的一种方式。

这次重复任务展示了预期的工作流程,但并未给出 Reddit 示例中节省的时间或 token 的测量值。

在OpenRouter上,Jev的标价约为每百万输入token $0.042,输出token为$0。

这次运行使用Gemini 3.5 Flash,处理了26亿个token,花费不到$1,000的API额度。

词元(token)是模型处理文本的单位。

更高的effort可能拉长单次回复,并增加输出token(影响使用费用的文本单位)。

在整个评估中,Codex处理了219亿个token(衡量模型输入与输出的单位),Claude Code为29亿个,相差7.5倍。

模型Token成本 每月约€300

作为对比,若使用相同的token用量,Claude Opus 4.8的估算成本为$61.70。

在一次总统辩论测试中,它处理约118万个输入token,调用Jev 1191次。

个人资料区域则以与Codex桌面应用高度相似的布局,显示累计词元用量、最长任务和每日活动等指标。

语言模型计算下一个词元出现的概率,助记方法则把材料与图像和地点联系起来。

Yutori列出的Navigator n2 API价格为:每百万输入token $0.50,每百万缓存输入token $0.05,每百万输出token $4.00。

2026年9月,OpenRouter 上列出的 Jev 价格为每百万输入 token 收费$0.042,每百万输出 token 收费$0.00。

资源消耗 使用的Token或存储空间

不过,它并非总是消耗更少的token,这些测试也无法确定其每项任务的成本。

据报告,这次运行涉及270万条消息和1300亿个输出词元。

价格较低的英伟达 RTX 3060 可以让一个 80 亿参数模型以每秒 40 至 50 个词元的速度生成内容,而价格更高的系统则能容纳大得多的模型。

首个 token 更快出现,不代表后续文字同样快

成本问题不只是Token单价


© 2026 AIPOST. All rights reserved.

AIPOST是一家报道AI应用方法、AI安全、性能、创业、健康、伦理与行业资讯的AI专业媒体。无需注册即可使用,个人信息的处理方式请参阅隐私政策。