延迟

latency

延迟是从发出请求到收到响应之间的时间间隔,是衡量AI模型响应速度的关键指标。

59篇文章最近提及

延迟(latency)在计算和网络领域指从发出请求或信号到收到相应响应所经过的时间。通常以毫秒(ms)计量,与表示单位时间处理量的吞吐量一起构成评估性能的基本指标。

在AI领域,延迟指标包括从提交提示词到生成首个token的时间(Time To First Token)、token的生成速度,以及完整响应结束所需的时间。在AI智能体环境中,插入到模型调用之间的钩子和策略检查会增加延迟,因此通常会为每个检查环节设定时间预算。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • AI智能体优化指南:改提示词还是训练权重,如何取舍AI性能 ·

    评测与指标:精确匹配、通过率、由模型充当评审,或成本与延迟。

    阅读文章
  • Gyro-M 实测:16GB 显卡跑通六项编程任务,该不该换AI性能 ·

    Gyro-M 通过了其中 41 道,即 85.4%,平均延迟 3,889 毫秒,总运行时间 3 分 6 秒。

    阅读文章
  • IBM $110亿收购 Confluent:智能体为何需要实时数据AI资讯 ·

    实时数据不只是低延迟(信息到达之前的时间差)的问题。

    阅读文章
  • README暗藏指令窃取密钥,safeagents实测拦截效果AI安全 ·

    Hugging Face的文档标注每次调用增加10到20毫秒延迟;在本次测试环境中实测开销约为5毫秒,在交互式使用中小到几乎无法察觉。

    阅读文章
  • Orca:开源Agent IDE如何支撑多智能体并行开发AI应用 ·

    远程服务器,没有输入延迟

    阅读文章
  • 企业AI智能体数不清?以会话为单位的治理方法AI安全 ·

    一个钩子二进制程序可以在Claude Code、Cursor、Codex、GitHub Copilot、OpenCode、OpenClaw和Pi等运行框架的13到15个钩子点上注册为处理程序,附带身份信息转发事件,并在严格的延迟预算内返回允许或阻断的裁决。

    阅读文章
  • 产品经理40分钟用Claude Code搭出客户回访智能体AI应用 ·

    在自动回复中注入延迟后,回复率大幅下降,转化率随之下滑,因为人们离开了收件箱,势头就断了。

    阅读文章
  • Anthropic上市路演谈算力策略,微软365宕机凸显云依赖AI资讯 ·

    有些员工则把这次停机当作一场意外的"成年人雪假",在主要沟通和办公套件不可用时延长了午餐时间。

    阅读文章
  • 黄仁勋辞任英伟达CEO:AI芯片与前沿模型一周巨变AI资讯 ·

    对开发者来说,结论很简单:当智能体循环只需要一个是或否、一个类别或一个分数时,决策端点相比完整的补全模型既能降低延迟,也能降低成本。

    阅读文章
  • Arena研究:让智能体试玩再评判AI生成的游戏与网页AI性能 ·

    对于实时游戏,一个定制的运行框架会在动作之间暂停游戏,每执行一个动作后推进500毫秒,这样速度较慢的模型不会因为推理延迟而吃亏。

    阅读文章
  • Anthropic拟募资$643.5亿上市:高估值背后的泡沫疑问AI资讯 ·

    但熟悉聊天窗口并不等于理解神经网络、向量数据库、检索增强生成(RAG,一种让模型在回答前调取外部文档的技术)、延迟或存储阵列。

    阅读文章
  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    首 token 延迟(Time to First Token)衡量预填充;每输出 token 时间(Time Per Output Token)衡量解码。

    阅读文章
  • OpenAI董事长:百年老店才是AI智能体最大赢家AI资讯 ·

    存储层级:软件根据延迟和成本目标混用机械硬盘、闪存和内存,而不是把一切都放进最快的那一层。

    阅读文章
  • OpenAI称AI已证明杨-米尔斯理论存在,1147页证明却仅五人可见AI资讯 ·

    OpenAI自己的外部"数学与AI顾问小组",其成员包括菲尔兹奖得主爱德华·威滕,表示延迟公开没有任何正当的科学理由。

    阅读文章
  • 骨科住院医师的六款AI工具:少即是多的临床工作流AI健康 ·

    几分钟内,草稿就涵盖了该试验11分的非劣效界值和3.5分的总体效应、五年随访数据、32%的患者从物理治疗交叉转为延迟部分半月板切除术、次要结局和局限性。

    阅读文章
  • AI对齐首先是协调难题:拉斯金谈竞赛陷阱与红线AI伦理 ·

    延迟摩擦。

    阅读文章
  • Anthropic S-1披露递归自我改进临近,加速因子约0.5AI资讯 ·

    他认为,现有实证证据并不支持自我维持、能力爆发式增长的RSI会在近期出现,而现实世界的部署面临物理和运营层面的摩擦:扩散延迟、硬件瓶颈和数据稀缺。

    阅读文章
  • OpenAI自研Pando:为AI智能体重构Git后端AI资讯 ·

    白皮书称,Pando将推送延迟中位数降低了近5倍,把合并基础设施的可靠性提升至99.99%,如今每天提供的Git数据接近1PB。

    阅读文章
  • 前沿模型降本提质:提示词审计、缓存与评测三步法AI应用 ·

    缓存读取的计费约为基础输入token价格的十分之一,命中缓存还能大幅缩短响应延迟。

    阅读文章
  • 16GB显卡跑满128k上下文:ByteShape 3位量化27B模型实测AI性能 ·

    分级推理基准测试由48道题组成,平均分布在四个难度级别,每道题的平均延迟为6,324毫秒。

    阅读文章
  • 一周AI要闻:OpenAI推GIF生成,Grok Bot削减额度AI资讯 ·

    响应延迟很低,节奏自然,不过声音带有一点闷闷的呼叫中心耳机质感。

    阅读文章
  • 用Claude Code打造AI幕僚长:先搭知识结构,再谈自动化AI应用 ·

    搜索Notion并抓取邮件串的多步骤运行可能出现明显延迟。

    阅读文章
  • Napster转型视频AI智能体:押注客户数据所有权与边缘算力AI创业 ·

    关于恐怖谷效应,他的立场是:不适感来自糟糕的执行和延迟,或者来自要求机器去表演只有人类才有的社交行为。

    阅读文章
  • ChatGPT已拼齐自动化四件套,中小企业或可省下Zapier订阅AI资讯 ·

    需要亚分钟级延迟、高频调度,或者要连接尚不支持事件的应用的工作流,看起来仍是独立平台及依托其上的代理机构的地盘。

    阅读文章
  • 自我改进AI智能体的架构:双循环、版本化与密封评估器AI应用 ·

    对企业应用而言,目标是在成本不超预算、延迟不超目标、安全性不低于要求水平的前提下,最大化预期任务表现。

    阅读文章
  • 把AI智能体当客户:TinyFish一年内用户破40万AI创业 ·

    在第二个演示中,一个已保存的浏览器配置文件让智能体登录到需要认证的开发者控制台,绘制最近20次运行的搜索延迟图表,结果显示平均1.522秒,中位数1.40秒,80%的运行在2秒内完成。

    阅读文章
  • OpenAI报告:被隔离的AI智能体靠CPU缓存与图片隐写暗中通信AI安全 ·

    对这些资源的访问并不是绝对均匀的:当一个进程密集使用缓存的某个区域时,另一个触碰同一区域的进程会感受到略有不同的访问延迟。

    阅读文章
  • Compound为何用Rust从零重写Office打造AI分析师AI创业 ·

    ▲ 身处经核验、带延迟邮件线程的智能体

    阅读文章
  • 智能平面:模型与数据同质化后,企业智能体的真正护城河AI应用 ·

    每次查询平均延迟 10.6秒 42.8秒

    阅读文章
  • OpenAI金融版ChatGPT:共用旗舰模型,只做20%垂直层AI资讯 ·

    直接索引大幅降低了延迟和失败率,Kim表示内置数据包成为企业用户最称赞的功能。

    阅读文章
  • 英伟达Agent Toolkit:模型不变,执行框架让得分升至100%AI资讯 ·

    到了生产规模,它们还会遇到限流、速率限制和延迟突增,这些不只是让智能体变慢,还会损害其准确性和推理能力。

    阅读文章
  • 五家大厂谈智能体编程:代码激增,交付为何没提速AI应用 ·

    这种延迟使移动端有理由比服务器端更加谨慎,也解释了为什么消费级应用团队从智能体编程中获得的收益小于后端同行。

    阅读文章
  • GPT-6.1 Terra实测:成本仅为Claude Opus 5.5的十二分之一AI性能 ·

    界面的其他部分与GPT-6.1 Sol基本相同,但这个细分的滑块让用户可以直接在延迟、成本与推理深度之间取舍。

    阅读文章
  • Claude Code 新增 Mods:可在工具内部改界面的扩展AI应用 ·

    在长会话中,这意味着更高的延迟,以及大量 token 被花在重读你已经发送过的文本上。

    阅读文章
  • AI发现漏洞以小时计,补丁核验仍需数周:安全防线的新缺口AI安全 ·

    费城警方称这一延迟不可接受,而美国联邦贸易委员会要求及时披露涉及在线模型活动的事件。

    阅读文章
  • Claude Design替代Figma做网页设计的实战体验AI应用 ·

    组件内的示例场景会调查诸如"结账流程的p95延迟为何在一夜之间飙升"的问题,先拉取指标和日志,再提出拉取请求。

    阅读文章
  • Krea 3与Grok Voice 3.0在新AI模型实测中表现突出AI资讯 ·

    模型权重已在Hugging Face上公开,可以微调,也就是针对特定任务进一步训练;另有为降低延迟而调校的蒸馏版本。

    阅读文章
  • Claude Code开发iPhone应用上架:真机测试与日志是关键AI应用 ·

    而在模拟器里,同样的操作运行流畅,毫无延迟。

    阅读文章
  • Anthropic警告AI模型自我复制:15台电视盒子实验说明了什么AI资讯 ·

    协调15台慢速设备会不断累积延迟,并大幅增加运维负担。

    阅读文章
  • Claude Haiku 5.5与GPT-6新界面:AI更省更快AI资讯 ·

    除非延迟确实是瓶颈,比如面向用户的实时应用、交互式编程或操控桌面的智能体,否则这笔溢价似乎难以说得过去。

    阅读文章
  • AI检测与AI评审冲击学术界:从水印到arXiv投稿限制AI资讯 ·

    仅2026年9月,工作人员和审核员就要处理近9,000张支持工单,全站的论文发布普遍延迟。

    阅读文章
  • AWS为AI智能体重塑云服务:30秒开户与限时权限AI资讯 ·

    可预测的尾部延迟

    阅读文章
  • OpenAI Decisions API:只做选择的AI的7种用法AI应用 ·

    token是模型读写文本的小单位,每多一个token,延迟和成本都会增加。

    阅读文章
  • AI智能体安全前移:用MCP服务器在PR前传递公司规则AI安全 ·

    PR阶段每次安全扫描带来的延迟 5到10分钟

    阅读文章
  • AI智能体隐性失败,Claude Code靠追踪记录修复价格筛选AI应用 ·

    追踪记录是对智能体一次运行的结构化、嵌套式记录,包含每一轮对话、每次工具调用、提示词、模型响应、token数量、延迟数据和美元成本。

    阅读文章
  • Gemma 4本地推理:数据不出设备,浏览器和手机直接运行AI资讯 ·

    数据留在设备内,没有按次调用的费用和网络延迟,许可证也为商业产品留出了空间。

    阅读文章
  • 用cmux并行运行AI智能体:合上笔记本也不中断的远程工作AI应用 ·

    用 以YOLO模式启动,再输入 ,即可在cmux中开始低延迟的语音对话。

    阅读文章
  • DeepMind新一代机器人AI:规划与动作分离,灵巧手仍是难题AI资讯 ·

    延迟是现实存在的权衡。

    阅读文章
  • 客服AI智能体上线生产:记忆、权限与评估五步走AI应用 ·

    为查明原因,用Google Cloud Trace查看整个请求的延迟、工具参数和模型执行区间。

    阅读文章
  • Eclipse Enclave:用容器隔离AI编程智能体的四道边界AI安全 ·

    由于项目文件夹是直接绑定挂载,智能体的修改会无延迟地写入宿主机磁盘。

    阅读文章
  • OpenAI智能体为何更快:读取界面结构而非截图AI资讯 ·

    客服聊天也有自身的延迟,回复需要30秒到3分钟不等。

    阅读文章
  • Claude Mods与Artifacts:智能体团队开发新方向AI资讯 ·

    协调多个智能体并持续生成共享项目信息,还可能增加token(模型处理文本的单位)用量和延迟。

    阅读文章
  • Claude Opus 5.5提示词指南:该保留、删减和明确的八件事AI应用 ·

    它的默认effort设置已经改变,因此以往要求模型“多想一想”的指令可能只会增加延迟而没有帮助。

    阅读文章
  • RunPod Flash如何改变图像生成SaaS的GPU成本AI创业 ·

    提供一份兼容GPU列表可以减少分配延迟,但测试发现,在Blackwell MIG切片(将一块GPU的一部分作为独立实例分配)上推理,比在NVIDIA RTX 4090上慢1.8倍。

    阅读文章
  • Jev与Claude Code协作:六个开源项目展示快速决策如何落地AI应用 ·

    据报告,它对每个说出的词进行意图判断的延迟约为250至350毫秒,因此浏览器可以在整句话说完前开始响应。

    阅读文章
  • Navigator n2四项基准居首,单任务API成本约$1.46AI性能 ·

    它还让智能体接触意外弹窗、程序崩溃和延迟,从而学习如何恢复。

    阅读文章
  • Jev 决策模型分流实测:百封邮件分类仅花$0.00196AI性能 ·

    常规核查:在涵盖五类任务的150次是非决策中,Jev 每次决策的延迟中位数为219毫秒,总费用为$0.0019。

    阅读文章
  • OpenAI智能体越权访问澳大利亚Medicare统计门户并写入数据AI安全 ·

    在这起事件中,访问遭拒未能阻止未经授权的会话;据报道,通报还延迟了一个多月。

    阅读文章
  • AI视频模型实测:Seedance 2.5领跑,Kling 3.0更省AI性能 ·

    Happy Horse则出现了变形的纸牌和延迟发生的倒塌。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。