금융 데이터 분석 기업 Samaya AI가 frontier AI 모델(가장 앞선 세대의 대형 AI 모델) 7종에 agent(스스로 도구를 써서 자료를 찾고 과제를 수행하는 AI) 환경을 붙여, 상장기업 454곳의 2분기 실적을 발표 5거래일 전에 예측하게 했습니다. 결과는 최신 모델일수록 Wall Street 애널리스트들의 합의 추정치보다 작은 오차를 냈고, 가장 좋은 모델은 애널리스트 편향까지 보정한 기준선도 넘어섰습니다. 이 연구 설계에서 눈여겨볼 지점은 두 가지입니다. 왜 주가가 아니라 실적을 benchmark(모델 성능을 재는 표준 시험)로 삼았는지, 그리고 미래 정보가 새어 들어오지 않도록 평가 환경을 어떻게 잠갔는지입니다.
주가가 아니라 실적을 고른 이유
Samaya AI는 처음부터 주가 예측에 뛰어들지 않았습니다. Bridgewater Associates와 Verition Fund Management에서 퀀트 연구를 했던 사내 연구자가 말렸기 때문입니다. 주식 시장은 근본적으로 잡음이 많고, 주가가 어느 날 왜 움직였는지는 시장 참여자 자신도 모를 때가 많습니다. 그렇다면 모델이 어떤 추론을 거쳐 방향을 맞혔더라도 그 추론이 옳았는지, 운이 좋았는지 가려낼 방법이 없습니다. 평가할 수 없는 과제는 학습 신호로도 쓰기 어렵습니다.
반면 분기 실적 예측은 기계학습 과제로서 갖춰야 할 조건을 모두 갖추고 있습니다.
| 조건 | 실적 예측에서의 대응물 |
|---|---|
| 정량적 정답 | 기업이 매 분기 공시하는 매출, 매출총이익률, 영업이익, 조정 EPS(주당순이익) |
| 전문가 기준선 | sell-side와 buy-side 애널리스트들의 예측을 모은 합의 추정치(consensus) |
| 정성적 정답 | 실적 발표 뒤 경영진이 숫자의 원인을 설명하는 earnings call 녹취록 |
예를 들어 애널리스트 세 명이 $1.08, $1.04, $1.00을 예측하면 합의치는 $1.04가 되고, 실제 발표치가 $1.09이면 +$0.05의 긍정적 서프라이즈, 즉 beat(합의치 상회)가 됩니다. 발표치가 합의치를 밑돌면 miss(합의치 하회)입니다. 숫자의 정확도를 잴 수 있고, 사람 전문가와 비교할 수 있고, 경영진의 설명과 대조해 agent의 추론이 실제 사업 동인을 짚었는지까지 확인할 수 있습니다. 이 세 가지가 갖춰진 덕분에 실적 예측은 금융 AI agent의 성능을 재는 benchmark로 알맞다는 것이 설계의 출발점입니다.
미래를 차단하는 point-in-time 환경
agent를 평가하려면 입력 데이터, 과제 정의, 자동 채점이 갖춰진 격리된 실행 환경이 필요합니다. Samaya AI는 Morgan Stanley와 헤지펀드, 자산운용사의 1만 2,000명 넘는 사용자가 쓰는 자사의 금융 agent harness(agent에 도구와 데이터, 채점을 제공하는 실행 틀)를 실험용으로 고쳐 썼습니다. agent 한 번의 예측에는 최대 100만 context token(모델이 한 번에 읽을 수 있는 입력 분량)과 약 10분의 추론 시간이 주어졌습니다.
이 환경의 핵심은 point-in-time gate입니다. 예측일은 실적 발표 5거래일 전, 즉 달력으로 한 주 전으로 정하고, SEC 공시, 기업 녹취록, 과거 주가, 기업 뉴스, 브로커 합의 추정치를 모두 이 시점까지로 타임스탬프를 잘라 제공했습니다. 중요한 점은 이 제한을 prompt(모델에 주는 지시문)의 당부가 아니라 인증 token으로 프로그램 수준에서 강제했다는 것입니다. agent가 어떤 도구를 호출하더라도 예측 시점 이후의 데이터는 아예 조회할 수 없게 막아 lookahead bias(미래 정보를 미리 보고 맞히는 편향)를 제거했습니다.
웹 검색도 같은 이유로 빠졌습니다. 일반 웹 검색 API는 결과를 특정 시점 이전으로 신뢰성 있게 묶기가 사실상 불가능하므로, 그 자리를 타임스탬프가 붙은 과거 뉴스 피드로 대체했습니다. 여기에 구조화된 데이터 조회 도구와 도메인 전문가가 쓴 안내 prompt를 넣어 agent가 핵심 가치 동인을 중심으로 조사하도록 유도했습니다.
평가 대상 실적은 모두 7월 이후에 발표된 것으로 한정했습니다. 시험한 모델들의 지식 기준일이 6월이므로, 학습 데이터에 정답이 들어 있을 가능성을 원천적으로 차단한 것입니다.

▲ 미래 데이터를 막는 point-in-time gate
454건 검증 결과
평가 지표는 세 가지였습니다. 첫째는 예측 오차로, 각 기업의 과거 실적 서프라이즈 표준편차(시그마)를 단위로 재서 기업마다 다른 변동성을 보정했습니다. 낮을수록 좋습니다. 기준선은 두 개를 두었습니다. 애널리스트 합의치를 그대로 쓴 원 합의치의 오차는 1.57시그마였습니다. 그런데 sell-side 합의치는 기업이 기대치를 넘기기 쉽도록 체계적으로 낮게 잡히는 경향이 있어, 이 편향을 보정한 합의치를 따로 계산하니 오차가 1.18시그마로 내려갔습니다. 공정한 비교를 위해 두 기준선을 모두 썼습니다.
| 모델 또는 기준선 | 예측 오차(시그마) |
|---|---|
| 원 합의치 | 1.57 |
| 편향 보정 합의치 | 1.18 |
| Claude Sonnet 3.5 | 1.57 |
| Kimi K3 | 1.44 |
| Gemini 3.8 Flash | 1.34 |
| GPT-5.8 Sol | 1.31 |
| Claude Opus 5.5 | 1.26 |
| Claude Fable 5.1 | 1.25 |
| GPT-6 Astra | 1.17 |
모델 세대가 올라갈수록 오차가 꾸준히 줄었고, GPT-6 Astra는 1.17시그마로 편향 보정 합의치보다도 낮은 오차를 기록했습니다. 특히 매출 지표에서 이 차이가 두드러졌습니다.
둘째는 적중률(hit rate)로, 실제 발표치가 합의치 위인지 아래인지 방향을 맞혔는지를 봅니다. 네 가지 재무 지표 전체에서 최신 모델들은 76~78%를 기록해 과거 다수 방향을 따랐을 때의 기준선 75.0%를 넘었습니다. 더 의미 있는 쪽은 합의치를 밑돈다고 예측하는 하향 콜입니다. 경영진의 낙관과 보고 편향 때문에 사람에게도 모델에게도 어려운 영역인데, 최신 모델들은 64~67%를 맞혀 기준선 41.5%를 20%포인트 넘게 앞섰습니다.
셋째는 서프라이즈 상관계수입니다. 기업들을 예측 서프라이즈 크기 순으로 줄 세웠을 때 실제로 가장 크게 상회하거나 하회한 기업과 순위가 맞는지를 봅니다. Claude Fable 5.1이 0.54, Claude Opus 5.5가 0.53, GPT-6 Astra가 0.52로, 편향 보정 합의치의 0.45를 통계적으로 유의미하게 웃돌았습니다. 또한 모델의 우위는 -0.5시그마 아래나 +1.0시그마 위처럼 서프라이즈가 큰 기업에서 가장 컸습니다.
맞힌 사례와 놓친 사례
숫자 뒤의 추론을 보기 위해 사례 두 건이 분석됐습니다. 반도체 기업 MACOM의 2026 회계연도 3분기 조정 EPS에서는 agent가 합의치 $1.352에서 벗어나 상향 조정하는 데 성공했습니다. 회사의 데이터센터 매출 가이던스(전분기 대비 +35%)에서 출발해, 영국의 소규모 웨이퍼 제조사 IQE가 연간 성장 가이던스를 올렸다는 공급사 정보를 모았고, 통신 부품 부족이라는 반대 증거도 저울질했습니다. 이를 종합해 사업 부문별 추정을 다시 쌓고 손익계산서 아래로 숫자를 흘려 내려 $1.39를 예측했는데, 실제 발표치는 $1.40이었습니다.
반대로 Ross Stores의 2027 회계연도 2분기 매출총이익률은 놓쳤습니다. 합의치는 28.99%였고 실제는 33.80%로 크게 뛰었습니다. agent는 경쟁 유통사가 $1억 2,000만의 관세 환급을 매출원가에 반영했다는 사실을 찾아내고 이를 상방 위험으로 적어 두기까지 했습니다. 그러나 확신이 부족해 이를 가정에 그치는 것으로 취급하고 중심 예측 29.10%에 넣지 않았습니다. 증거를 찾고도 행동하지 않은 것이 실패의 원인이었습니다. 이 두 사례를 나란히 놓고 보면, agent가 주변부의 공급망과 경쟁사 공시를 적극적으로 모아 합의치에서 벗어나는 결정을 내릴 때 성공하고, 모은 증거를 중심 시나리오에 반영하지 못할 때 실패한다는 해석이 가능합니다.

▲ 증거 활용이 가른 성공과 실패
성능을 가른 것은 데이터의 신선도
구성 요소를 하나씩 빼 보는 ablation 실험은 이 연구에서 가장 실용적인 교훈을 줍니다. 모델이 학습 때 가중치에 저장한 지식, 즉 parametric memory만으로 예측하게 하자 상관계수는 GPT-6 Astra 0.11, Claude Fable 5.1 0.15에 그쳤습니다. Claude Fable 5.1은 2026년 6월까지 학습해 과거 공시를 상당 부분 기억하고 있었지만, 외부에서 새 맥락을 받지 못하면 실시간 금융 예측에는 거의 쓸모가 없었습니다.
데이터의 시점도 큰 차이를 만들었습니다. 발표 55일 전 데이터를 주었을 때는 5일 전 데이터를 주었을 때보다 성능이 12~15포인트 떨어졌습니다. 이 격차는 Claude Sonnet과 Claude Fable 5.1 사이의 성능 차이와 맞먹습니다. 모델을 몇 세대 올리는 것과 데이터를 몇 주 더 신선하게 하는 것이 비슷한 효과를 낸 셈입니다.
전문가 안내도 효과가 있었습니다. prompt와 harness의 추론 구조에 전문가 지침을 넣자 모델은 예측 하나에 더 많은 token과 시간을 쓰며 깊이 조사했고, 오차는 Claude Fable 5.1이 1.27에서 1.25로, GPT-6 Astra가 1.22에서 1.17로 줄었습니다.
마지막 실험은 agent가 정말 분석을 하는지, 애널리스트 숫자에 기대는지를 가리는 것이었습니다. 문서와 도구 결과에서 합의 추정치를 모두 지우자 구형 모델은 정확도가 크게 떨어졌지만, 상위 모델은 독립적으로 추정치를 다시 세워 손실이 거의 없었습니다. GPT-6 Astra는 합의치가 있을 때 0.50, 없을 때 0.52를 기록했습니다.
Samaya AI는 다음 단계로 기업 고객의 내부 데이터로 알파 테스트를 시작하고, 모델의 추론이 사람의 금융 추론과 닮았는지 아니면 보완적인 다른 방식인지 연구하며, 과거 예측 실수에서 계속 배우는 강화 학습 사후 훈련 파이프라인을 개발하고 있습니다. 전체 결과는 자사의 오픈소스 benchmark FrontierFinance에 공개했습니다.
정리와 독자가 할 일
이 연구가 보여 주는 것은 AI가 Wall Street를 이겼다는 선언이라기보다, 금융 AI agent를 제대로 평가하는 방법에 가깝습니다. 정답과 전문가 기준선, 원인 설명이 있는 과제를 고르고, 미래 정보를 프로그램 수준에서 차단하고, 신선한 데이터와 전문가 지침을 공급했을 때 최신 모델이 합의치보다 나은 성적을 냈습니다. 이는 한 기업의 benchmark에서 2분기 454건을 대상으로 얻은 결과이며, 실제 투자 성과로 이어지는지는 별개의 문제라는 점은 글의 판단으로 덧붙입니다.
금융이나 다른 도메인에서 agent를 평가하거나 만드는 독자라면 다음을 적용해 볼 수 있습니다.
- 평가 과제는 주가처럼 잡음이 큰 지표가 아니라, 정량 정답과 사람 기준선이 함께 있는 과제로 고릅니다.
- 시점 제한은 prompt로 부탁하지 말고 인증 token처럼 프로그램으로 강제하고, 웹 검색은 타임스탬프가 붙은 자료 피드로 대체합니다.
- 사람 기준선에 구조적 편향이 있다면 보정한 기준선을 함께 두어 공정하게 비교합니다.
- 모델의 학습 기억에 기대지 말고 실시간 조회 도구를 붙이며, 데이터는 목표 시점에 최대한 가깝게 유지합니다.
- 전문가 작업 흐름을 prompt와 harness에 담아 모델이 핵심 지표에 추론 자원을 쓰게 합니다.
- 기준선 수치를 지운 채로도 시험해, 모델이 기준선에 닻을 내리지 않고 스스로 분석하는지 확인합니다.
- agent가 검증 가능한 외부 증거를 찾았다면 가정으로 치부하지 않고 중심 예측에 반영하도록 설계합니다.
이 글은 AI 평가 방법론을 소개하는 것이며, 특정 종목이나 투자 판단을 권하지 않습니다.


