Samaya AI是一家为摩根士丹利等机构构建金融研究智能体的公司。该公司近期测试了前沿AI模型能否比华尔街分析师更准确地预测企业季度盈利。测试覆盖454份第二季度财报,所有预测在每份财报发布前五个交易日锁定。结果显示,最新一代模型的预测误差小于汇总后的分析师共识,甚至低于针对已知向下偏差进行校正后的共识版本。不过,这项工作更值得关注的也许是结果背后的设计:为什么选择财报而非股价作为可用的基准,以及如何通过严格执行的时点环境保证测试的公正性。
为什么股价是糟糕的训练信号
项目始于一个尖锐的问题:如果AI智能体能够重写编译器,为什么不能选股?在动手构建之前,Samaya的创始AI负责人请教了一位同事,后者曾在桥水基金和Verition Fund Management担任量化研究员。对方的建议是:不要以直接预测股价作为起点。
理由与雄心无关,而在于评估。股价时刻都在波动,其中很大一部分波动没有清晰的因果解释。即便是专业市场参与者,也常常说不清某只股票在某一天为何涨跌。如果模型预测了一次价格变动并且猜对了,也没有可靠的办法判断它的推理是否合理,还是只是运气好。一个无法区分能力与运气的基准,对改进模型毫无帮助。
为什么财报可以作为基准
季度财报提供了三样股价预测所缺乏的东西。
- 精确的量化真值。 上市公司每个季度都会披露营收、毛利率、营业利润、调整后每股收益(EPS,即利润除以流通股数,并剔除一次性项目)以及业绩指引。这些都是可以用来给预测打分的硬数据。
- 专业的人类基线。 每份财报发布前,卖方和买方的股票分析师都会发布各自的预测,这些预测被平均成共识预期。公司业绩高于共识即为"超预期"或正向惊喜,低于共识则为"不及预期"。共识本身就是一个现成的专家基线。
- 定性真值。 每份财报发布后,管理层会在业绩电话会上解释数字背后的驱动因素:经营变化、宏观经济环境、一次性项目等。研究者可以把智能体陈述的推理与管理层实际提到的驱动因素进行比对。
举个简单的例子:三位分析师对EPS的预测分别是$1.08、$1.04和$1.00,共识为$1.04。公司实际披露$1.09,即$0.05的正向惊喜。随后的电话会纪要解释了原因。对于一项机器学习任务而言,数值目标、专家基线和解释说明三者兼备,已接近理想状态。
构建无泄漏的环境
评估智能体需要一个沙盒,用来提供数据、定义任务并自动给输出打分。Samaya将其已服务超过12,000名企业用户的生产级金融框架改造为测试环境。每次预测允许智能体使用最多100万上下文token和大约10分钟的推理算力。智能体必须为每家公司预测四项指标:营收、毛利率、营业利润和调整后EPS。
核心设计决策是时点闸门。在金融回测中,前视偏差指的是模型看到了预测日期当时尚不可得的信息,从而夸大结果。Samaya通过身份验证令牌以程序方式强制执行截止时间,而不是依赖提示词指令。SEC申报文件、业绩电话会纪要、历史价格序列、公司新闻和券商共识预期全部带有时间戳,智能体无法查询任何日期晚于截止点的内容。截止点设在正式发布前五个交易日,约合一个自然周。

▲ 阻断未来数据的时点闸门
开放网络搜索带来了特殊难题。标准搜索API几乎不可能在时间上加以限定,任何实时搜索都可能把截止点之后的信息泄漏到智能体的上下文中。Samaya用带有严格时间戳的历史新闻源取代了网络访问。该框架还加入了结构化数据查询工具和专家指导提示词,引导智能体关注对每家公司真正重要的经营指标。
为防止预训练知识污染结果,全部454个目标财报事件均发生在7月及之后,晚于受测模型(如Claude Fable 5.1)6月的知识截止时间。
测试结果
主要指标是预测误差,以每家公司历史盈利惊喜的标准差为单位,称为sigma。这种归一化方式意味着业绩历来波动较大的公司不会比稳定的公司受到更多惩罚。数值越低越好。
原始分析师共识的得分为1.57个sigma。由于卖方共识众所周知地系统性偏低,使公司在多数情况下得以超预期,Samaya还计算了偏差校正后的共识基线,为1.18个sigma。这个更严格的基线才是真正重要的参照。
| 预测者 | 预测误差(sigma) |
|---|---|
| 原始分析师共识 | 1.57 |
| Claude 3.5 Sonnet | 1.57 |
| Kimi K3 | 1.44 |
| Gemini 3.8 Flash | 1.34 |
| GPT-5.8 Sol | 1.31 |
| Claude Opus 5.5 | 1.26 |
| Claude Fable 5.1 | 1.25 |
| 偏差校正后的共识 | 1.18 |
| GPT-6 Astra | 1.17 |
误差随模型代际稳步下降。GPT-6 Astra以微弱优势超过偏差校正后的共识,在营收预测上表现最强。Claude Fable 5.1和Claude Opus 5.5紧随该基线之后。
另外两项指标进一步印证了这一图景:
- 命中率衡量模型能否正确判断业绩高于还是低于共识。在全部四项指标上,现代模型达到约76%到78%,高于75.0%的历史多数基线。由于管理层乐观倾向和披露偏差,判断"低于共识"更难,该项的历史基线仅为41.5%,而较新的前沿模型得分为64%到67%。
- 惊喜相关性按预测的惊喜幅度给公司排序,检验预测中最大的超预期和不及预期是否与实际情况相符。Claude Fable 5.1、Claude Opus 5.5和GPT-6 Astra分别得到0.54、0.53和0.52,均具统计显著性,且高于偏差校正后共识的0.45。
将营收误差按区间拆分后发现,前沿模型的优势在惊喜幅度较大的公司上最为明显,即低于负0.5个sigma或高于正1.0个sigma的情形。这些结果来自对单个季度数据的一次测试,应视为基准测试的发现,而非对未来预测的保证。
成功与失败的样子
两个案例展示了智能体实际如何推理。
对半导体厂商MACOM Technology Solutions,在预测其2026财年第三季度调整后EPS时,智能体从公司给出的数据中心营收环比增长35%的指引出发。随后它向外搜寻,发现英国小型晶圆制造商、MACOM供应商IQE上调了全年增长指引,销售额有20%到30%的上行空间。它权衡了关于电信元器件短缺的反面证据,逐个业务板块重建营收预测,并将数字沿利润表逐层推导。最终预测为$1.39,对比共识$1.352和偏差校正后共识$1.357。公司实际披露$1.40。

▲ 依据证据行动与将其搁置
Ross Stores的案例则走向了另一面。在预测这家零售商2027财年第二季度毛利率时,智能体发现一家同行零售商已将$1.2亿的关税退款计入销售成本,这是一个明确的上行先例。但它把这笔退款归为假设性风险而非可能发生的事件,并将其排除在29.10%的中心预测之外,该预测仅略高于28.99%的共识。实际毛利率为33.80%。智能体掌握了正确的证据,却没有据此行动。这种模式,即发掘出重要信息却缺乏调整预测的信心,似乎是一种反复出现的失败模式。
准确性的驱动因素
Samaya进行了消融实验,即每次移除一个组件,以观察什么最重要。
新鲜数据占主导地位。 仅凭参数化知识,即不做检索、只依靠模型在训练中记住的内容,GPT-6 Astra的惊喜相关性骤降至0.11,Claude Fable 5.1降至0.15。即便Claude Fable 5.1的训练数据截至2026年6月、见过此前的公开申报文件,情况依然如此。数据陈旧同样有害:用财报发布前55天而非前5天的数据,性能下降12到15个点,大致相当于Claude Sonnet与Claude Fable 5.1之间的差距。如果推理时没有工具访问能力,较新的训练截止时间几乎带不来优势。
专家指导加深研究。 在提示词和推理框架中加入领域专家指导后,模型在每次预测上花费更多token和更多分钟,误差随之下降:Claude Fable 5.1从1.27改善到1.25个sigma,GPT-6 Astra从1.22改善到1.17。
顶级模型不依赖共识。 当Samaya从文档和工具输出中抹去所有共识数据后,较老的模型表现急剧下滑,顶级模型则几乎没有变化。GPT-6 Astra在没有共识时的惊喜相关性为0.52,有共识时为0.50,这表明它是在基于基本面构建估计,而非锚定分析师数字。
下一步
Samaya正在与企业客户进入alpha测试阶段,将同样的方法应用于客户的专有内部数据。公司也在研究这些智能体的推理方式是否与人类分析师相同,还是遵循一种可以补充人类判断的独特模式,这仍是一个悬而未决的问题。第三条路线是强化学习后训练和持续学习,让智能体能从自己过往的预测错误中学习。完整结果通过Samaya开源的FrontierFinance基准及配套研究报告发布。
给开发者和分析师的启示
最核心的发现是:在获得新鲜数据和结构化指导的前提下,前沿模型在454份财报发布前一周的预测中,追平或超越了偏差校正后的分析师共识。而设计层面的经验比分数走得更远:
- 把金融推理基准建立在基本面之上,要有精确的实际值、专家基线和解释性纪要,而不是原始价格波动。
- 用身份验证令牌等程序化控制强制执行时间截止,并用带时间戳的数据源取代开放网络搜索。
- 与偏差校正后的基线比较,而不只是原始共识。
- 为检索工具提供尽可能接近目标日期的数据;参数化记忆无法替代。
- 加入专家工作流指导,让智能体把算力花在重要的经营驱动因素上。
- 在抹去共识的条件下测试,以确认模型确实在做基本面分析。
- 警惕信心缺口:智能体找到了可验证的供应商或竞争对手披露,却只把它们归档为假设。
以上均不构成投资建议,所有数字也只描述了一次基准测试。但对于任何构建或评估金融智能体的人来说,这套方法提供了一个具体、可检验的模板,用来衡量模型是否真的在对一家企业进行推理。


