延迟(latency)在计算和网络领域指从发出请求或信号到收到相应响应所经过的时间。通常以毫秒(ms)计量,与表示单位时间处理量的吞吐量一起构成评估性能的基本指标。
在AI领域,延迟指标包括从提交提示词到生成首个token的时间(Time To First Token)、token的生成速度,以及完整响应结束所需的时间。在AI智能体环境中,插入到模型调用之间的钩子和策略检查会增加延迟,因此通常会为每个检查环节设定时间预算。
latency
延迟是从发出请求到收到响应之间的时间间隔,是衡量AI模型响应速度的关键指标。
延迟(latency)在计算和网络领域指从发出请求或信号到收到相应响应所经过的时间。通常以毫秒(ms)计量,与表示单位时间处理量的吞吐量一起构成评估性能的基本指标。
在AI领域,延迟指标包括从提交提示词到生成首个token的时间(Time To First Token)、token的生成速度,以及完整响应结束所需的时间。在AI智能体环境中,插入到模型调用之间的钩子和策略检查会增加延迟,因此通常会为每个检查环节设定时间预算。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
评测与指标:精确匹配、通过率、由模型充当评审,或成本与延迟。
阅读文章Gyro-M 通过了其中 41 道,即 85.4%,平均延迟 3,889 毫秒,总运行时间 3 分 6 秒。
阅读文章实时数据不只是低延迟(信息到达之前的时间差)的问题。
阅读文章Hugging Face的文档标注每次调用增加10到20毫秒延迟;在本次测试环境中实测开销约为5毫秒,在交互式使用中小到几乎无法察觉。
阅读文章远程服务器,没有输入延迟
阅读文章一个钩子二进制程序可以在Claude Code、Cursor、Codex、GitHub Copilot、OpenCode、OpenClaw和Pi等运行框架的13到15个钩子点上注册为处理程序,附带身份信息转发事件,并在严格的延迟预算内返回允许或阻断的裁决。
阅读文章在自动回复中注入延迟后,回复率大幅下降,转化率随之下滑,因为人们离开了收件箱,势头就断了。
阅读文章有些员工则把这次停机当作一场意外的"成年人雪假",在主要沟通和办公套件不可用时延长了午餐时间。
阅读文章对开发者来说,结论很简单:当智能体循环只需要一个是或否、一个类别或一个分数时,决策端点相比完整的补全模型既能降低延迟,也能降低成本。
阅读文章对于实时游戏,一个定制的运行框架会在动作之间暂停游戏,每执行一个动作后推进500毫秒,这样速度较慢的模型不会因为推理延迟而吃亏。
阅读文章但熟悉聊天窗口并不等于理解神经网络、向量数据库、检索增强生成(RAG,一种让模型在回答前调取外部文档的技术)、延迟或存储阵列。
阅读文章首 token 延迟(Time to First Token)衡量预填充;每输出 token 时间(Time Per Output Token)衡量解码。
阅读文章存储层级:软件根据延迟和成本目标混用机械硬盘、闪存和内存,而不是把一切都放进最快的那一层。
阅读文章OpenAI自己的外部"数学与AI顾问小组",其成员包括菲尔兹奖得主爱德华·威滕,表示延迟公开没有任何正当的科学理由。
阅读文章几分钟内,草稿就涵盖了该试验11分的非劣效界值和3.5分的总体效应、五年随访数据、32%的患者从物理治疗交叉转为延迟部分半月板切除术、次要结局和局限性。
阅读文章延迟摩擦。
阅读文章他认为,现有实证证据并不支持自我维持、能力爆发式增长的RSI会在近期出现,而现实世界的部署面临物理和运营层面的摩擦:扩散延迟、硬件瓶颈和数据稀缺。
阅读文章白皮书称,Pando将推送延迟中位数降低了近5倍,把合并基础设施的可靠性提升至99.99%,如今每天提供的Git数据接近1PB。
阅读文章缓存读取的计费约为基础输入token价格的十分之一,命中缓存还能大幅缩短响应延迟。
阅读文章分级推理基准测试由48道题组成,平均分布在四个难度级别,每道题的平均延迟为6,324毫秒。
阅读文章响应延迟很低,节奏自然,不过声音带有一点闷闷的呼叫中心耳机质感。
阅读文章搜索Notion并抓取邮件串的多步骤运行可能出现明显延迟。
阅读文章关于恐怖谷效应,他的立场是:不适感来自糟糕的执行和延迟,或者来自要求机器去表演只有人类才有的社交行为。
阅读文章需要亚分钟级延迟、高频调度,或者要连接尚不支持事件的应用的工作流,看起来仍是独立平台及依托其上的代理机构的地盘。
阅读文章对企业应用而言,目标是在成本不超预算、延迟不超目标、安全性不低于要求水平的前提下,最大化预期任务表现。
阅读文章在第二个演示中,一个已保存的浏览器配置文件让智能体登录到需要认证的开发者控制台,绘制最近20次运行的搜索延迟图表,结果显示平均1.522秒,中位数1.40秒,80%的运行在2秒内完成。
阅读文章对这些资源的访问并不是绝对均匀的:当一个进程密集使用缓存的某个区域时,另一个触碰同一区域的进程会感受到略有不同的访问延迟。
阅读文章▲ 身处经核验、带延迟邮件线程的智能体
阅读文章每次查询平均延迟 10.6秒 42.8秒
阅读文章直接索引大幅降低了延迟和失败率,Kim表示内置数据包成为企业用户最称赞的功能。
阅读文章到了生产规模,它们还会遇到限流、速率限制和延迟突增,这些不只是让智能体变慢,还会损害其准确性和推理能力。
阅读文章这种延迟使移动端有理由比服务器端更加谨慎,也解释了为什么消费级应用团队从智能体编程中获得的收益小于后端同行。
阅读文章界面的其他部分与GPT-6.1 Sol基本相同,但这个细分的滑块让用户可以直接在延迟、成本与推理深度之间取舍。
阅读文章在长会话中,这意味着更高的延迟,以及大量 token 被花在重读你已经发送过的文本上。
阅读文章费城警方称这一延迟不可接受,而美国联邦贸易委员会要求及时披露涉及在线模型活动的事件。
阅读文章组件内的示例场景会调查诸如"结账流程的p95延迟为何在一夜之间飙升"的问题,先拉取指标和日志,再提出拉取请求。
阅读文章模型权重已在Hugging Face上公开,可以微调,也就是针对特定任务进一步训练;另有为降低延迟而调校的蒸馏版本。
阅读文章而在模拟器里,同样的操作运行流畅,毫无延迟。
阅读文章协调15台慢速设备会不断累积延迟,并大幅增加运维负担。
阅读文章除非延迟确实是瓶颈,比如面向用户的实时应用、交互式编程或操控桌面的智能体,否则这笔溢价似乎难以说得过去。
阅读文章仅2026年9月,工作人员和审核员就要处理近9,000张支持工单,全站的论文发布普遍延迟。
阅读文章可预测的尾部延迟
阅读文章token是模型读写文本的小单位,每多一个token,延迟和成本都会增加。
阅读文章PR阶段每次安全扫描带来的延迟 5到10分钟
阅读文章追踪记录是对智能体一次运行的结构化、嵌套式记录,包含每一轮对话、每次工具调用、提示词、模型响应、token数量、延迟数据和美元成本。
阅读文章数据留在设备内,没有按次调用的费用和网络延迟,许可证也为商业产品留出了空间。
阅读文章用 以YOLO模式启动,再输入 ,即可在cmux中开始低延迟的语音对话。
阅读文章延迟是现实存在的权衡。
阅读文章为查明原因,用Google Cloud Trace查看整个请求的延迟、工具参数和模型执行区间。
阅读文章由于项目文件夹是直接绑定挂载,智能体的修改会无延迟地写入宿主机磁盘。
阅读文章客服聊天也有自身的延迟,回复需要30秒到3分钟不等。
阅读文章协调多个智能体并持续生成共享项目信息,还可能增加token(模型处理文本的单位)用量和延迟。
阅读文章它的默认effort设置已经改变,因此以往要求模型“多想一想”的指令可能只会增加延迟而没有帮助。
阅读文章提供一份兼容GPU列表可以减少分配延迟,但测试发现,在Blackwell MIG切片(将一块GPU的一部分作为独立实例分配)上推理,比在NVIDIA RTX 4090上慢1.8倍。
阅读文章据报告,它对每个说出的词进行意图判断的延迟约为250至350毫秒,因此浏览器可以在整句话说完前开始响应。
阅读文章它还让智能体接触意外弹窗、程序崩溃和延迟,从而学习如何恢复。
阅读文章常规核查:在涵盖五类任务的150次是非决策中,Jev 每次决策的延迟中位数为219毫秒,总费用为$0.0019。
阅读文章在这起事件中,访问遭拒未能阻止未经授权的会话;据报道,通报还延迟了一个多月。
阅读文章Happy Horse则出现了变形的纸牌和延迟发生的倒塌。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。