Morgan Stanleyなどの金融機関向けに金融リサーチエージェントを開発するSamaya AIが、最先端のAIモデルは四半期の企業決算をウォール街のアナリストより正確に予測できるのかを検証しました。第2四半期の決算発表454件を対象に、各発表の5営業日前に予測を確定させたところ、最新のモデルはアナリスト予想を集計したコンセンサスよりも予測誤差が小さく、コンセンサスに知られている下方バイアスを補正した値と比べても上回りました。この取り組みで注目すべきは、結果そのものよりもその背後にある設計かもしれません。なぜ株価ではなく決算が使えるベンチマークになるのか、そして厳密に強制されたポイント・イン・タイム環境がどのようにテストの公正さを保つのかという点です。

株価が学習シグナルとして不向きな理由

プロジェクトは、ひとつの率直な問いから始まりました。AIエージェントがコンパイラを書き換えられるなら、なぜ銘柄選びはできないのか、という問いです。何かを作り始める前に、Samayaの創業時からのAI責任者は、かつてBridgewater AssociatesとVerition Fund Managementでクオンツリサーチャーを務めた同僚に相談しました。返ってきた助言は、出発点として株価の直接予測には手を出すなというものでした。

その理由は野心の問題ではなく、評価の問題です。株価は絶えず動いており、その動きの大部分には明確な因果的説明がありません。プロの市場参加者でさえ、ある日に株価がなぜ上がったのか下がったのかを説明できないことがよくあります。モデルが値動きを予測して的中させたとしても、その推論が妥当だったのか、単に運が良かっただけなのかを確かめる確実な方法はありません。実力と運を切り分けられないベンチマークは、モデルの改善に役立ちません。

決算がベンチマークとして機能する理由

四半期決算には、株価予測にはない3つの要素が備わっています。

  • 正確な定量的な正解。 上場企業は四半期ごとに、売上高、粗利益率、営業利益、調整後EPS(1株当たり利益。利益を発行済株式数で割り、一時的な項目を調整したもの)、そして今後の業績見通しを報告します。これらは予測を採点できる確かな数字です。
  • プロの人間によるベースライン。 各発表の前に、セルサイドとバイサイドの株式アナリストがそれぞれ予想を公表し、その平均がコンセンサス予想になります。企業の実績がコンセンサスを上回れば「ビート」つまりポジティブサプライズ、下回れば「ミス」です。コンセンサスは、すぐに使える専門家のベースラインです。
  • 定性的な正解。 発表後、経営陣は決算説明会で数字を動かした要因を説明します。事業運営の変化、マクロ経済環境、一時的な項目などです。研究者はエージェントが示した推論と、経営陣が実際に挙げた要因を比較できます。

簡単な例を挙げます。3人のアナリストがEPSをそれぞれ$1.08、$1.04、$1.00と予想すると、コンセンサスは$1.04になります。企業が$1.09を報告すれば、$0.05のポジティブサプライズです。そして説明会の記録がその理由を説明します。機械学習のタスクとして見ると、数値の目標、専門家のベースライン、説明という組み合わせは理想に近いものです。

リークのない環境を構築する

エージェントを評価するには、データを供給し、タスクを定義し、出力を自動で採点するサンドボックスが必要です。Samayaは、すでに1万2,000人を超える企業ユーザーが利用している本番環境の金融ハーネスをテスト環境に転用しました。各予測でエージェントは最大100万トークンのコンテキストと、およそ10分の推論計算を使えます。エージェントは企業ごとに、売上高、粗利益率、営業利益、調整後EPSの4つの指標を予測しなければなりません。

設計上の中心となる判断が、ポイント・イン・タイムのゲートです。金融のバックテストでは、予測時点で入手できなかった情報をモデルが見てしまうルックアヘッドバイアスが結果を水増しします。Samayaはこの締め切りを、プロンプトの指示ではなく認証トークンを通じてプログラム的に強制しています。SEC提出書類、決算説明会の記録、過去の株価系列、企業ニュース、ブローカーのコンセンサス予想にはすべてタイムスタンプが付いており、エージェントは締め切り以降の日付のものを一切照会できません。締め切りは公式発表の5営業日前、暦で言えばおよそ1週間前に設定されています。

文書とニュースの時系列をまたぐ透明な施錠されたゲートと、ゲートより前の項目にだけ手を伸ばすロボット

▲ 将来データを遮断するポイント・イン・タイムのゲート

オープンなウェブ検索は特有の問題を抱えていました。標準的な検索APIは時間的に範囲を限定することがほぼ不可能で、ライブ検索を行えば締め切り後の情報がエージェントのコンテキストに漏れ込みかねません。Samayaはウェブアクセスを、厳密にタイムスタンプが付いた過去のニュースフィードに置き換えました。ハーネスにはさらに、構造化データの照会ツールと、各企業で重要となる事業指標へエージェントを導く専門家ガイダンスのプロンプトが加えられています。

事前学習の知識が結果を汚染しないよう、454件の対象決算イベントはすべて7月以降、つまりClaude Fable 5.1など検証対象モデルの6月の知識カットオフより後に発生したものです。

結果

主要な指標は、各企業の過去の決算サプライズの標準偏差を単位として測った予測誤差で、シグマと呼ばれます。このように正規化することで、歴史的に業績の変動が大きい企業が安定した企業より不利に扱われることがなくなります。値は低いほど優れています。

アナリストコンセンサスそのままの値は1.57シグマでした。セルサイドのコンセンサスは系統的に低めに出ることが知られており、そのおかげで企業は多くの場合で予想を上回ることができます。そこでSamayaはバイアスを補正したコンセンサスのベースラインも算出し、その値は1.18シグマでした。重要なのは、こちらのより厳しいベースラインです。

予測者 予測誤差(シグマ)
アナリストコンセンサス(補正なし) 1.57
Claude 3.5 Sonnet 1.57
Kimi K3 1.44
Gemini 3.8 Flash 1.34
GPT-5.8 Sol 1.31
Claude Opus 5.5 1.26
Claude Fable 5.1 1.25
バイアス補正後コンセンサス 1.18
GPT-6 Astra 1.17

誤差はモデルの世代を追うごとに着実に下がっています。GPT-6 Astraはバイアス補正後のコンセンサスをわずかに上回り、特に売上高の予測で最も強みを見せました。Claude Fable 5.1とClaude Opus 5.5はこのベースラインのすぐ後ろにつけています。

さらに2つの指標がこの構図を裏付けています。

  • ヒット率は、モデルがコンセンサスの上か下かを正しく当てられたかを見るものです。4指標全体で、最近のモデルはおよそ76%から78%に達し、過去の多数派ベースラインの75.0%を上回りました。コンセンサスを下回るという予測は、経営陣の楽観や報告のバイアスのため難しく、過去のベースラインは41.5%にとどまりますが、新しい最先端モデルは64%から67%を記録しました。
  • サプライズ相関は、予測したサプライズの大きさで企業を順位付けし、予測上の最大のビートとミスが実際の最大のものと一致するかを確かめます。Claude Fable 5.1、Claude Opus 5.5、GPT-6 Astraはそれぞれ0.54、0.53、0.52を記録し、いずれも統計的に有意で、バイアス補正後コンセンサスの0.45を上回りました。

売上高の誤差を区間ごとに分けて見ると、最先端モデルの優位はサプライズが大きい企業、つまりマイナス0.5シグマ未満またはプラス1.0シグマ超の企業で最も大きくなっていました。これらは1四半期分のデータによる1回のテストの結果であり、将来の予測を保証するものではなくベンチマーク上の知見として読むべきものです。

成功と失敗の実例

2つの事例が、エージェントが実際にどう推論しているかを示しています。

半導体メーカーMACOM Technology Solutionsの2026年度第3四半期の調整後EPSを予測した際、エージェントはまず、データセンター向け売上が前四半期比35%成長するという会社側の見通しから出発しました。次に外へ目を向け、英国の小規模なウェハーメーカーでMACOMのサプライヤーでもあるIQEが、売上に20%から30%の上振れを見込んで通期の成長見通しを引き上げていたことを見つけました。通信部品の供給不足という反証も考慮したうえで、売上予測をセグメントごとに組み立て直し、その数字を損益計算書の下まで流し込みました。その結果の予測は$1.39で、コンセンサスは$1.352、バイアス補正後コンセンサスは$1.357でした。会社の実績は$1.40でした。

サプライチェーンのパズルピースで上昇チャートを完成させるロボットと、領収書のピースを外に残す別のロボット

▲ 証拠に基づく行動と証拠の棚上げの対比

Ross Storesの事例は逆の結果になりました。この小売企業の2027年度第2四半期の粗利益率を予測した際、エージェントは、同業の小売企業が$1億2,000万の関税還付を売上原価に計上していたことを見つけました。上振れの明確な先例です。ところがエージェントはこの還付を、起こりそうな事象ではなく仮定上のリスクと位置付け、中心予測の29.10%には織り込みませんでした。これはコンセンサスの28.99%をわずかに上回るだけの値です。実際の粗利益率は33.80%でした。エージェントは正しい証拠を手にしながら、それに基づいて行動しなかったのです。重要な情報を掘り当てながら、予測を動かすだけの確信を持てないというこのパターンは、繰り返し現れる失敗モードのようです。

精度を左右する要因

Samayaは、構成要素を1つずつ取り除いて何が最も重要かを確かめる実験、アブレーションを実施しました。

新鮮なデータが決定的です。 パラメトリックな知識のみ、つまり検索を使わずモデルが学習時に記憶した内容だけに頼った場合、サプライズ相関はGPT-6 Astraで0.11、Claude Fable 5.1で0.15まで落ち込みました。Claude Fable 5.1が2026年6月まで学習しており、過去の公開提出書類を見ていたにもかかわらずです。データの古さも足を引っ張ります。発表の5日前ではなく55日前のデータを与えると、性能は12から15ポイント低下しました。これはClaude SonnetとClaude Fable 5.1の差とほぼ同じ幅です。推論時にツールを使えなければ、学習カットオフが新しくてもほとんど優位にはなりません。

専門家のガイダンスがリサーチを深めます。 プロンプトと推論ハーネスに分野の専門家によるガイダンスを加えると、モデルは1回の予測により多くのトークンと時間を費やすようになり、誤差は下がりました。Claude Fable 5.1は1.27から1.25シグマに、GPT-6 Astraは1.22から1.17に改善しました。

最上位モデルはコンセンサスを必要としません。 Samayaが文書とツール出力からコンセンサスの数値をすべて取り除くと、旧世代のモデルは大きく劣化しました。一方で最上位モデルはほとんど動きませんでした。GPT-6 Astraのサプライズ相関は、コンセンサスなしで0.52、ありで0.50であり、アナリストの数字に引きずられるのではなくファンダメンタルズから見積もりを組み立てていることがうかがえます。

今後の展開

Samayaは企業顧客とのアルファテストに移行し、同じ手法を顧客が社内に持つ独自データに適用しようとしています。また、これらのエージェントが人間のアナリストと同じように推論しているのか、それとも人間の判断を補完しうる独自のパターンに従っているのかも研究していますが、これはまだ答えの出ていない問いです。3つ目の取り組みは強化学習による事後学習と継続学習で、エージェントが自身の過去の予測ミスから学べるようにすることを目指しています。詳細な結果はSamayaのオープンソースのベンチマークFrontierFinanceと、それに付随する研究報告として公開されています。

開発者とアナリストへの示唆

最も重要な知見は、最先端モデルに新鮮なデータと構造化されたガイダンスを与えれば、454件の決算発表において、発表1週間前の時点でバイアス補正後のアナリストコンセンサスに並ぶか上回ったということです。ただし、スコアよりも設計上の教訓のほうが広く応用できます。

  • 金融推論のベンチマークは、生の値動きではなく、正確な実績値、専門家のベースライン、説明となる記録がそろったファンダメンタルズの上に構築する。
  • 時間の締め切りは認証トークンなどプログラム的な制御で強制し、オープンなウェブ検索はタイムスタンプ付きのフィードに置き換える。
  • 補正なしのコンセンサスだけでなく、バイアス補正後のベースラインと比較する。
  • 検索ツールには対象日にできるだけ近いデータを供給する。パラメトリックな記憶は代わりにならない。
  • 専門家のワークフローに沿ったガイダンスを加え、エージェントが計算資源を重要な事業要因に使うようにする。
  • コンセンサスを伏せた状態でテストし、モデルがファンダメンタル分析を行っていることを確認する。
  • 確信の欠落に注意する。サプライヤーや競合の検証可能な開示を見つけながら、仮定として棚上げしてしまうエージェントがいる。

これらはいずれも投資助言ではなく、数値は1回のベンチマーク実行を記述したものにすぎません。それでも、金融エージェントを構築または評価する人にとって、このアプローチはモデルが本当に事業について推論しているかを測るための、具体的で検証可能な雛形を提供してくれます。