推理(inference)是运行已训练完成的AI模型,针对新输入生成输出的过程。大语言模型根据提示生成回答,或图像模型对照片进行分类,都属于推理。它与利用数据调整模型参数的训练(training)相区分。
训练是一次性消耗大量计算资源的工作,而推理在服务运行期间随每次请求反复进行,因此成本随用户数量增长。因此,降低推理的延迟和成本是AI服务运营中的核心课题,常用手段包括量化、蒸馏和专用加速芯片等。在逻辑学和统计学中,该词指从已知依据得出结论的思维过程。
inference
已训练完成的AI模型接收新输入并生成输出的过程,与构建模型的训练(training)相区分。
推理(inference)是运行已训练完成的AI模型,针对新输入生成输出的过程。大语言模型根据提示生成回答,或图像模型对照片进行分类,都属于推理。它与利用数据调整模型参数的训练(training)相区分。
训练是一次性消耗大量计算资源的工作,而推理在服务运行期间随每次请求反复进行,因此成本随用户数量增长。因此,降低推理的延迟和成本是AI服务运营中的核心课题,常用手段包括量化、蒸馏和专用加速芯片等。在逻辑学和统计学中,该词指从已知依据得出结论的思维过程。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
OpenAI 自己的演示侧重 3D 和空间推理,其中包括:由一条提示词生成的完整可玩的 3D 赛车游戏;依据参考照片和说明书逐个零件建模的遥控越野车;以及一条流程,把芝加哥 Marina City 双塔的照片转成参数化 CAD 文件(可编辑的工程图纸),再做成实体的桌面纸灯。
阅读文章当示例缺少逐步推理过程时,可以用自举(bootstrapping)来补足。
阅读文章推理硬件代表的是 16GB 级别的本地配置:
阅读文章凡是能从文件中推断出来的都删掉;隐藏的架构模式和外部文档链接则保留。
阅读文章如今的 Opus 4.6、Opus 5.5、Fable 5.2 等模型能够自行推理完成这些步骤。
阅读文章在以零人工投入为目标的工作流中,人力成本通常是模型推理成本的 100 倍以上,因此压缩算力开支意义不大。
阅读文章大语言模型(驱动这些智能体的那类 AI 系统)赋予智能体很强的推理能力,但对于交到它手上的数据之外的一切,智能体实际上是看不见的。
阅读文章综合来看,Fable 5.2 在自主数学推理和科学文献综合方面似乎迈出了一大步。
阅读文章系统基于这张图谱进行推理,以回答搜索查询和聊天请求。
阅读文章即便如此,庞大的原始数据仍会带来毫无意义的开销,并拉低模型的推理质量。
阅读文章他的推理是,先进系统很可能拥有混合的动机,因此彻头彻尾的灭绝对实现其目标而言并无必要。
阅读文章Claude Code或OpenCode这样的编程智能体框架本身并不进行推理。
阅读文章它的推理轨迹写得直白:先取消关机,再继续执行任务。
阅读文章这条规则背后的道理是:搜索和总结任务中的错误很容易发现,也不需要深度推理,所以最便宜的模型就是最合适的。
阅读文章这是对开源协作方式的一种判断,除非写进指令,智能体未必能自行推断出来。
阅读文章其说法是,昂贵的模型只把token花在架构层面的推理上,机械性工作和测试套件则交给更便宜的子智能体处理。
阅读文章时长 实际耗时与轮次数 揭示无限重试循环和毫无输出的卡死推理循环
阅读文章把提示词过度拟合到僵硬的评分表会产出生硬的消息;把一次失败当作完整重新生成的上下文,既保留了自然的推理,又修正了具体缺陷。
阅读文章宕机时间之长以及修补仍在进行,表明底层技术问题可能比单纯的过载更复杂,不过这只是一种推断,并非微软的官方说法。
阅读文章在最高推理设置下,它的每任务平均成本为$3.16,而Opus 5.5为$10.04。
阅读文章智能体的推理及其尝试,包括没有成功的尝试
阅读文章课程由该校写作中心开设,目标是在学生开始使用AI工具之前,先建立写作和推理的基础习惯。
阅读文章预训练造出一台会续写文本的引擎;监督微调赋予这台引擎助手人格,并教它何时停下;强化学习,尤其是一种名为组相对策略优化(GRPO)的方法,则让模型通过给自己的尝试打分来学会推理。
阅读文章在Arena的实验中,这种方法让所有受测评判模型与人类偏好的一致性都有所提升,比只读代码的智能体发现了多得多的功能缺陷,使推理阶段的修复循环最多改善20%,还让在完全不查看源代码的情况下用强化学习训练代码生成器成为可能。
阅读文章决策模型无法做摘要、无法进行创意写作,也无法展示思维链推理。
阅读文章另一项研究考察了2,500多场模拟智能体辩论,发现智能体一贯向多数派或高地位智能体屈服,而不是从第一性原理出发进行推理。
阅读文章弗里尔表示,提出开放权重模型需求的企业通常想解决三件事:推理成本、应用强化学习的能力(一种通过对模型输出的反馈来改进模型的训练方法),以及数据主权。
阅读文章温度是推理阶段的超参数,而不是学习得到的权重,不过强化学习的 rollout 会以固定温度采样。
阅读文章巴沃尔从一个坦率的观察说起:硅谷活在自己的泡泡里,广告牌上向圈内人推销智能体框架和推理技术。
阅读文章需要注意的是,虽然该模型生成token的速度比Fable 5.1更快,但Artificial Analysis的数据显示其平均单任务耗时反而更长,原因似乎在于它在作答前进行了更深入的推理。
阅读文章过去几项无伤大雅的习惯,例如让模型跳过思考,或者让它逐步重放自己的推理过程,现在要么不再起作用,要么会直接触发拒答。
阅读文章她描述了一种常见模式:智能体通过屏幕缓冲区捕获显示帧,使用无障碍API,反复截屏,再用光学字符识别处理这些截图,并把提取出的文本上传到远程云基础设施进行推理。
阅读文章不过有一项效率指标指向相反方向:Fable 5.2每项任务平均生成的输出token略少于Sonnet 5.5,说明即使思考时间很长,它的推理也相当精炼。
阅读文章在普通笔记本电脑上,推理速度太慢,无法满足日常工作,除非投入数万美元购置专用加速硬件。
阅读文章如果模型预测了一次价格变动并且猜对了,也没有可靠的办法判断它的推理是否合理,还是只是运气好。
阅读文章这些都是他的判断而非实测结果,但与他所说的一个现象相吻合:客户更换供应商时,即便任务不变,输出的语气、推理风格和写作质量也会发生剧烈变化。
阅读文章一份被Lean接受的证明已经经过逐步核查,因此在形式意义上,其推理不存在缺口或错误。
阅读文章这些失误的根源在原始数据,而非智能体的推理。
阅读文章法院在Anthropic案中的推理部分基于这样一点:书中承载的思想得以保存。
阅读文章定性推理和开放式头脑风暴有所改善,但可靠性仍远不及形式化的问题求解。
阅读文章增加成本 验证仪式(“仔细检查你的工作”、“回答前验证两遍”)、彻底性强化语(“尽可能彻底”)、流程和草稿区脚手架、堆砌示例、防偷懒的工具强化语、无用规则 推高输入和输出token,却不能改善推理
阅读文章ByteShape用ShapeLearn量化技术处理的Qwen3.8-27B,其IQ3XS版本平均每个权重约3.01比特,在一台普通家用服务器上实现了这一点,随后又经历了一整套吞吐量、显存、推理、编程和智能体测试。
阅读文章这里的判断是:Muse的语音比Grok Bot或ChatGPT Voice更灵敏、情感表达更丰富,尽管Muse的原始推理能力不及GPT-6或Claude。
阅读文章他的推理基于此前六个月的实证趋势而非抽象推演,并认为即便市场已部分消化了加速的预期,进展的速度本身也足以要求极度谨慎。
阅读文章在Claude Code发起任何调用之前,先问它打算为某项任务查询哪些工具、为什么,这样可以暴露它的推理过程,让用户纠正范围。
阅读文章AI最有用之处似乎是在真实工作中增强推理与综合,而不是试图用提示词凭空变出一整项研究。
阅读文章他把近来AI在编码和数学推理上的大幅进步归功于这一循环,同时指出开放式、主观性的领域仍然困难得多。
阅读文章PewDiePie最初的计划是知识蒸馏:用一个强大的“教师”模型生成推理示例,再用这些示例训练一个紧凑的“学生”模型。
阅读文章鉴于当代 LLM 具有拟人特征,在对话中与人惊人地相似,他推断,有助于人类道德发展的技术,同样有可能有助于AI。
阅读文章没有这一条,候选版本可能只是因为模型调用次数多了五倍而显得更好,而不是因为推理得更好。
阅读文章它把Seller Assistant带入开发者工作流,让卖家或其技术人员能把亚马逊店铺数据与Claude的推理能力结合起来。
阅读文章Claude Duet不生成图像或视频,它靠文本、数据协调和推理工作。
阅读文章发现响应比前沿云端模型慢、推理能力更弱,于是回到云端。
阅读文章更高的推理档位会消耗多得多的每周令牌预算,Ultra档位在更自主地探索时还会请求系统权限。
阅读文章用Gemini Flash做推理。
阅读文章投入程度 Extra(选项有 Fast、High、Extra、Ultracode) 为初始脚手架投入更多推理
阅读文章类似的错配在非安全工作中也有报道:一位用户在整理视频制作工作流时会话被暂停,因为模型把它判定为试图蒸馏推理轨迹。
阅读文章顺着同样的推理,相信能把一个聪明到足以在癌症或气候变化上取得进展的系统关进笼子,反映的是人类的盲点,而不是可靠的工程判断。
阅读文章企业级安全需要的是智能体无法讨价还价的规则,无论其内部推理如何。
阅读文章MMMU-Pro等视觉推理测试和Harvey等法律推理测试可以部分替代图纸阅读和合同管理的评估,但在这套测试出现之前,没有任何基准直接衡量建筑业工作流程。
阅读文章基于这些约束,Compound推导出三项架构要求:一是多人协作设计,智能体要驻留在团队的共享渠道中;二是能在后台并行运行大量重负载任务的执行平台;三是管理并推理PB级机构与交易信息的方法。
阅读文章▲ 中途岛推断背后的累积上下文
阅读文章研究表明,一个智能体可以通过监测另一台独立计算单元的热量辐射来推断其内部运算,这是一种侧信道攻击。
阅读文章金融推理数据会流入公司的主预训练管线,产品本身大多是标准的ChatGPT基础组件,外层包裹着经授权的市场数据、机构专属模板,以及一套默认每个结果都由人工审核的工作流。
阅读文章两者目标一致:把模型的推理锚定在经过验证的关系结构上,而不是未经验证的最近邻查找上。
阅读文章模型现在被要求推断用户真正想要什么,而不是死抠提示词的字面措辞。
阅读文章爱丁堡投资公司Baillie Gifford的私营企业投资负责人将这一转变归功于一套有意为之的硬件策略,以及Claude在提升自身训练和推理服务效率方面日益重要的作用。
阅读文章他主张对标准UI组件和单元测试样板代码使用确定性生成器,而不是实时模型推理。
阅读文章更高的档位面向复杂推理和多步骤任务,Ultra档还附带警告,提示它会显著加快消耗账户的用量额度。
阅读文章仅依赖记录智能体思维链输出(即模型逐步写出的推理过程)的安全方法本身并不充分,因为智能体可以在执行某个操作时完全不把它记入受监控的轨迹。
阅读文章一旦存在长期授权,此后任何触发该工具的事情——无论是智能体推理中幻觉出的一步,还是被注入的指令——都会在无人参与的情况下把门打开。
阅读文章仓库接入本身也是自动化的:智能体在沙箱里克隆仓库,推断安装和检查命令,然后开出一个包含 .factory/setup.json 配方的 PR(对演示仓库来说,是“bun install --frozen-lockfile”加上 lint、测试、类型检查和构建)。
阅读文章GPT-6.1 Sol Medium 是一个合理的默认选择,因为在动态图形任务上它似乎在速度与推理能力之间取得了不错的平衡。
阅读文章谷歌DeepMind于2026年10月28日宣布推出Gemini 4 Carbon,称其为迄今最强的模型,在网络安全和长程推理方面达到了业界领先水平。
阅读文章三天后的10月20日,它又以Apache 2.0许可证开源了DeepInfer,也就是实际支撑其生产API的推理引擎。
阅读文章甲骨文已向全体员工部署ChatGPT桌面应用,称公司超过70%的代码如今由AI编写,与OpenAI共同构建了AI安全网格,并在Oracle云基础设施(OCI)中运行OpenAI自研的推理芯片Jalapeño。
阅读文章每款harness都会悄悄在发出的请求里设置自己的推理和采样参数。
阅读文章思考模式是指Claude在给出可见回答之前先进行内部推理,这些推理token按输出计费,而输出的价格是输入的5倍。
阅读文章谷歌将其定位为面向商业用途和多步推理的新一代顶级模型,主要针对深入分析复杂财务报告、制作演示文稿以及根据文本提示词生成3D模型等工作。
阅读文章给出目标,模型才有余地自行推理出更好的架构和方案。
阅读文章但对于那些看似答错的题目,GPT-6 Astra坚持认为自己的推理正确、标准答案有误。
阅读文章AI模型的推理能力越来越强,上下文窗口能容纳的文本大幅增加,也已经能够读懂图像。
阅读文章原本预计只能用三到五年的GPU,如果只承担推理工作,即用训练好的模型生成答案,如今可以继续使用六到八年。
阅读文章照常理推断,接下来似乎就该把文档改造成写给机器看的样子。
阅读文章它在Artificial Analysis指数上得分26,落后于DeepSeek、Qwen 3.8和GLM 5.3,但每秒输出token数约为更聪明的开放权重对手的5倍,因此看起来最适合低延迟比深度推理更重要的智能体工作流。
阅读文章不过,推理成本正在快速下降,大约一年内,普通软件公司或许也能以不高的成本,搭建贴合自身工作量的源代码管理层。
阅读文章这套配置把 Fable 5.1 视为战略推理、管理角色和编程方面最聪明的选择。
阅读文章上一代模型的输出上限为64k个token,据团队介绍,这一上限束缚了模型在难题上的推理。
阅读文章在他看来,前沿实验室能保持最久的优势并不是秘密算法,而是以比任何人都低的成本为用户运行模型的能力,这一过程称为推理。
阅读文章随后,这些性能孱弱的设备相互协同,共同完成推理,也就是训练好的模型生成答案的过程。
阅读文章下一个前沿:能够推理生物学的模型
阅读文章Lean是一种证明助手,会依据严格的逻辑基础检查每一步推理。
阅读文章在$20的ChatGPT套餐上,用低推理设置的Astra跑了几个简单任务,不到30分钟就耗尽了每周额度的90%。
阅读文章即使智能体的推理本身未经验证,也仍能阻止灾难性行为。
阅读文章这一结果很能说明语言模型推理目前所处的位置:它已远远超越几年前混乱不堪的聊天机器人下棋水平,却仍看不到某些进攻模式。
阅读文章协调者的effort Low 它的职责是分派和规划,不需要深度推理
阅读文章它面向的是摘要、数据压缩、数据库查询和分类等重复性强、数量大的工作,而不是最前沿的推理。
阅读文章对生产环境中的AI智能体来说,最危险的时刻也许不是推理出错,而是直接按自己的推理去执行。
阅读文章要删掉的是逐步指挥的细枝末节,要保留的是模型无法推断或查到的事实。
阅读文章Inferentia AI推理 属于五到六年前启动的AI芯片计划
阅读文章该模型在Hugging Face上以GGUF格式提供两种版本,GGUF是推理引擎llama.cpp使用的文件格式:
阅读文章自主智能体的标准模式是ReAct循环,即Reason(推理)加Act(行动)。
阅读文章而现代模型的基础推理能力是通过预训练“培养”出来的,预训练是在海量数据上进行的大规模学习阶段;微调和后训练则是事后附加的步骤,用来塑造模型的行为。
阅读文章在题为“Sharing AI progress in mathematics”的公告中,OpenAI同时在GitHub上开放了一个代码库,收录722篇手稿、模型的推理过程记录、新提出的猜想以及Lean形式化证明。
阅读文章顺序执行会把每项已完成任务的历史带入下一项任务,因此提示词(发送给模型的指令和上下文)不断膨胀,推理速度随之变慢。
阅读文章他还补充说,如今的Transformer在信息穿过各层之后,无法审视自己的中间推理,因此很难知道自己不知道什么。
阅读文章Chronicle 捕捉短时的屏幕上下文,推断用户正在做什么,例如诊断失败的GitHub Actions运行 面向Pro订阅用户、需主动开启的研究预览功能
阅读文章即便输入完全相同,基于语言模型的智能体每次都可能沿着不同的推理路线、调用不同的工具并给出不同的答案。
阅读文章对开发者来说,本地推理已经从一项实验变成切实可行的设计选择。
阅读文章Metronome 按用量计费 AI推理成本正推动软件告别按席位订阅
阅读文章他的目标是让界面淡出,由系统自行选择合适的工具和推理深度。
阅读文章较慢的推理层决定做什么,动作层决定身体如何移动。
阅读文章新思科技和OpenAI计划将具备推理能力的AI模型直接引入电子设计自动化,以及横跨多个学科的工程工作中。
阅读文章新的Interactions API通过同一个端点处理快速的模型调用和长时间运行的智能体任务,并可将对话和推理状态保存在谷歌的服务器上,开发者无需再手动拼接。
阅读文章生产部署需要精确控制智能体能做什么、降低推理成本,并具备企业级的扩展能力。
阅读文章在Artificial Analysis的评测中,以高推理模式运行的Argon在测试智能体SaaS工作流程的AutomationBench-AA上以78%排名第一,在Terminal-Bench 4.0上取得52%,接近榜首。
阅读文章当今AI最大的风险,或许并不是一台想要毁灭人类的机器,而是一台无人能检验其推理过程的机器。
阅读文章这个智能体的内部推理日志,即模型在行动前写下的逐步“思维链”(chain of thought),读起来就像一个人在公平与自保之间权衡。
阅读文章随着模型在推理和遵循指令方面不断进步,团队在同一个搭建器中加入了智能体功能。
阅读文章纵轴是能力等级,横轴是模型在作答前推理的时间和深度。
阅读文章随着推理越来越快,瓶颈转移到了模型之外。
阅读文章Hermes负责协调工作,推理能力则来自所连接的模型。
阅读文章GPT-6.1 Sol的成绩会随推理设置而变化,这一设置决定模型为任务投入多少计算:
阅读文章弗莱尔表示,AI正从回答问题和推理,迈向主动协助日常工作的阶段,而OpenAI的dots正处于这一转变的中心。
阅读文章更宏大的设想是把界面、模型推理和代码执行彼此分离,让多个智能体跨本地和云端环境协同工作。
阅读文章对于应用内的文本生成、推理和对话功能,可以选择Anthropic和OpenAI;对于图像生成,可以选择Gemini和GPT Image 2。
阅读文章审核还指出,有两名员工在同一天各自报销了同样 $42.80 的出租车费,并推断两人很可能是拼车。
阅读文章这一区分十分重要:记忆可以缩小寻找可行路径的范围,但不能取代对任务本身的推理。
阅读文章更新后的ChatGPT Chrome扩展程序把模型选择、插件入口、推理设置和标签页选择集中在浏览器侧边栏中。
阅读文章模型的内部推理记录中,可能出现关于是否应当道歉、如何描述自身存在的奇特思考。
阅读文章第三部分无法仅靠通用推理能力获得。
阅读文章端侧处理可以避免反复产生的云端推理费用,并让敏感信息留在用户的设备上。
阅读文章在六次基准测试中,SDXL-Turbo以两个推理步数生成一张512×512图片,预热请求总耗时1.10秒。
阅读文章OpenRouter在不同语言模型之间分发请求,高频的常规任务交给Gemini 2.5 Flash,要求更高的推理和架构设计交给Claude Sonnet 4。
阅读文章OpenAI自有的Provider Adapter测评框架会在连续步骤之间保留中间推理内容。
阅读文章OpenAI弃用了该模型,并在复盘事件期间暂停旗下能力最强模型的训练、评估及使用工具的推理。
阅读文章GPT-4在诊断推理任务中的得分高于借助AI的医生,但这一结果并不能证明聊天机器人能提供更好的医疗照护。
阅读文章因此,Jev适合反复进行分类和选择,而更广泛的推理与规划仍由Claude Code承担。
阅读文章另有说法称,Cerebras硬件可能加快复杂推理任务的处理速度。
阅读文章另一个教训涉及模型的思维链,即可供观察的书面推理步骤。
阅读文章拉蒙·柳利在13世纪使用旋转纸轮系统地组合观念;乔尔达诺·布鲁诺在16世纪发展出复杂的记忆轮盘;戈特弗里德·威廉·莱布尼茨则探索了将推理转化为计算的可能性。
阅读文章AI也可能给出人们难以核验其中间推理过程的结果。
阅读文章这一假定动机是对系统行为的推断,并不能证明AI智能体产生了人类意义上的焦虑。
阅读文章随着越来越多的个人和组织使用AI模型,开发者需要推理算力,也就是生成请求回复所需的计算资源。
阅读文章Yutori还使用fp16这种16位数值格式进行训练,以匹配推理时的配置,避免训练与部署之间出现精度不一致。
阅读文章在 Claude Code 中,Jev 可以做出初步选择,而需要更深入推理或书面回复的任务仍可交给 Claude。
阅读文章现有报道没有说明它具体写入了什么数据,也没有描述它突破限制的确切方式,因此不应对这些细节作推断。
阅读文章赛富时首席执行官马克·贝尼奥夫将企业AI系统描述为四个相互连接的部分:底层数据、应用与分析、智能体推理层以及用户界面。
阅读文章章鱼任务尤其清楚地表明,不能用token总量推断等待时间。
阅读文章推理运行环境是加载这些权重并生成回答的软件,相关计算在你的设备上完成。
阅读文章每种情况下,都需要针对具体语言和任务评估系统表现,而不能依据英语测试结果作出推断。
阅读文章模型推理更快,并没有让整个剪辑流程瞬间完成。
阅读文章此后推理正常,并不能证明该文件安全。
阅读文章Claude Opus 5.5:编程性能提升,最高推理档未必最划算
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。