OpenAI가 2026년 10월 26일, 자사 내부 AI 모델이 양자 Yang-Mills 이론의 존재 증명을 완성했다고 발표했습니다. Clay Mathematics Institute가 2000년에 $100만의 상금을 걸고 내놓은 일곱 개 Millennium Prize 문제 가운데 하나인 'Yang-Mills 존재와 mass gap' 문제의 절반에 해당하는 결과입니다. 그런데 1,147쪽에 이르는 이 증명은 발표 시점까지 공개되지 않았고, 지금도 노벨 물리학상 수상자 David Gross가 이끄는 다섯 명의 물리학자 위원회만 열람하고 있습니다. 같은 문제를 Claude로 공개적으로 풀어 가던 Anthropic 측 연구진의 작업과 시기가 겹치면서, 이 발표는 성과 자체 못지않게 '누가 어떻게 검증하느냐'를 둘러싼 논쟁을 불러왔습니다.

양성자 질량의 99%는 '접착제'에서 나옵니다

원자핵 속 양성자와 중성자는 quark(쿼크)라는 더 작은 입자로 이루어져 있고, 이 quark들을 gluon(글루온)이라는 입자가 묶어 둡니다. 양성자 질량 가운데 quark 자체의 질량은 약 1%에 불과하고, 나머지 약 99%는 quark와 gluon이 지닌 운동 에너지와 위치 에너지, 곧 결합 에너지입니다. 물질의 질량 대부분이 입자가 아니라 입자를 붙드는 '접착제'에서 나오는 셈입니다.

이 상호작용을 수학적으로 기술한 것이 1954년 Chen Ning Yang과 Robert Mills가 내놓은 Yang-Mills 이론입니다. Yang이 Princeton에서 이 이론을 발표할 때 Wolfgang Pauli는 이 장(field)의 질량이 정확히 얼마냐고 거듭 물었고, Yang은 그 자리에서 답하지 못했습니다. 1973년 David Gross와 동료들은 점근적 자유성(asymptotic freedom)을 발견합니다. 강한 상호작용은 고무줄처럼 quark가 가까이 있을 때는 느슨하고, 떼어 놓을수록 결합력이 급격히 강해진다는 것입니다. Gross는 이 공로로 2004년 노벨 물리학상을 받았고, 여기서 나온 양자 색역학(QCD)은 CERN의 Large Hadron Collider 같은 가속기에서 일상적으로 검증되고 있습니다.

물리학은 맞았지만 수학은 비어 있었습니다

문제는 이 이론을 연속적인 시공간에서 계산하면 무한대가 튀어나온다는 점입니다. 물리학자들은 renormalization(재규격화, 계산에서 생기는 무한대를 제거하는 절차)으로 무한대를 걷어 냈는데, Richard Feynman은 1979년 강연에서 이를 수학적으로 정당화되지 않은 임시방편이라고 불렀습니다. 실제 계산은 공간을 유한한 lattice(격자)로 쪼개서 수행합니다. 그런데 격자 간격을 0으로 보내는 continuum limit(연속 극한)에서도 이론이 무너지지 않고 잘 정의된다는 사실은 증명된 적이 없었습니다. 화면의 픽셀을 아무리 촘촘하게 만들어도 그림이 깨지지 않는다는 보장이 없었던 것과 같습니다.

그래서 Clay Mathematics Institute는 2000년에 두 가지 증명을 요구했습니다.

요구 사항 내용 현재 상태
존재 증명 4차원 양자 Yang-Mills 이론이 수학적으로 엄밀하게 존재함을 보일 것 OpenAI가 증명 완성을 주장, 비공개 검토 중
mass gap 가장 가벼운 입자의 질량이 0보다 크다는 성질(양의 mass gap)을 보일 것 미해결

물리학자들은 50년 동안 QCD로 정확한 예측을 해 왔지만, 그 토대가 수학적으로 성립하는지는 모른 채 써 온 것입니다. Brian Greene의 말처럼 약 반세기 동안 어떤 수학자도 물리학자도 이 기초 문제를 풀지 못했습니다.

세 quark를 고무줄처럼 잇는 gluon과 점점 촘촘해지는 격자

▲ quark 결합과 연속 극한

두 연구소의 7주, 공개 협업과 비공개 프로젝트

1980년대에 한 수학자가 14편의 방대한 논문으로 gauge theory(게이지 이론)의 엄밀한 수학적 틀을 구축하다가 작업을 멈췄습니다. Gross는 과거 강연에서 이 구성적 장론 프로그램에 대한 진지한 진전이 수십 년간 사실상 멈춰 있었다고 언급한 바 있습니다.

2026년 9월 초, Northwestern University의 한 수학자가 AI를 이용해 이 미완의 프로그램을 끝내기로 하고, 9월 8일 Anthropic의 한 수학자와 손을 잡았습니다. 이들은 Claude를 여러 개 동시에 띄워 작업을 나눠 맡기고 수천 쪽의 증명을 생성하게 한 뒤 단계마다 교차 검증했습니다. 이 수학자는 Scientific American에 구성적 장론의 병목은 아이디어 부족이 아니라 사람이 감당할 수 없는 작업량이었다고 말했습니다. 10월 6일 두 사람은 중간 결과를 온라인에 공개했고, 10월 25일에는 완성까지 몇 주 남았다고 예고했습니다.

바로 다음 날 저녁, OpenAI가 자사 모델이 이미 문제를 풀었다고 발표했습니다. OpenAI가 뒤이어 공개한 내부 일정은 다음과 같습니다.

날짜 OpenAI 내부(비공개) Anthropic 측(공개)
9월 8일 두 수학자가 Claude 활용 협업 시작
9월 9일 AI가 Yang-Mills 핵심 증명 생성
9월 18일 quark를 포함하도록 증명 확장
10월 6일 중간 결과 온라인 공개
10월 16일 Lean 형식 검증 완료
10월 25일 완성까지 몇 주 남았다고 예고
10월 26일 증명 완성 공식 발표

OpenAI의 시스템이 순수 게이지 이론 증명을 quark까지 포함하도록 일반화하는 데 걸린 시간은 9일이었습니다. 한 수학자가 10년에 걸쳐 쌓은 작업량이 Claude 쪽에서는 7주, OpenAI 쪽에서는 9일로 압축된 셈입니다.

왜 다섯 명만 읽었는가

OpenAI는 증명을 바로 공개하는 대신 4주 동안 Lean에 통과시켰습니다. Lean은 proof assistant(증명 보조기, 수학 증명을 형식 논리로 적어 컴퓨터가 한 단계씩 검사하는 소프트웨어)로, 사람이 덧셈을 암산하지 않고 계산기로 확인하듯 논증에 빈틈이나 오류가 없는지를 기계적으로 확인합니다. 10월 16일 이 검증이 끝났고, OpenAI는 추론에 수학적 공백이 없다는 계산적 확신을 얻었다고 밝혔습니다.

그 뒤 OpenAI는 1,147쪽 원고를 공개하지 않고 Gross가 위원장을 맡은 다섯 명의 저명한 물리학자 평가위원회에만 전달했습니다. 위원회는 논증을 직접 꼼꼼히 검토하기 전까지 논문을 공개하지 않기로 했습니다. 위원회 보고서의 표지 제목은 'Proof by OpenAI of the Existence of Quantum Yang-Mills theory'이며 2026년 10월자로 되어 있습니다. 9월 9일 증명 생성부터 10월 26일 발표까지 7주 동안 이 결과는 OpenAI 내부와 위원회 밖으로 나가지 않았습니다.

이 결정은 곧바로 반발을 불렀습니다. OpenAI의 외부 자문 조직인 Advisory Group on Mathematics and AI는 필즈상 수상자 Edward Witten을 포함하고 있는데, 이 그룹은 공개를 미룰 과학적 정당성이 없다고 밝혔습니다. Anthropic 쪽 수학자는 X(옛 Twitter)에서 OpenAI가 진행 중이던 공개 학술 프로젝트와 협력하지 않은 데 실망을 표했습니다. 과학은 역사적으로 공개 검증 위에서 발전해 왔다는 점에서, 기업이 결과를 비공개 검토단 뒤에 두는 방식은 논쟁적일 수밖에 없어 보입니다.

긴 두루마리를 검사하는 기계와 유리 상자 속 증명, 닫힌 문 뒤의 사람들

▲ 기계 검증과 공개 검증의 간격

검증되지 않은 AI 증명, 어떻게 받아들여야 할까

먼저 분명히 해 둘 점은 이 증명이 맞더라도 물리학의 예측은 하나도 바뀌지 않는다는 것입니다. QCD는 이미 가속기 실험과 들어맞는 결과를 내 왔고, 교과서의 공식도 그대로입니다. 바뀌는 것은 토대입니다. 이론물리학이 수학적으로 검증되지 않은 근사 위에 서 있는 것이 아니라 엄밀한 기초 위에 서 있음이 확인된다는 의미입니다. 물리학자 Sabine Hossenfelder는 일부 물리학자들이 이 결과의 의미를 깎아내리는 데 대해, 같은 결과를 사람이 냈다면 널리 축하받았을 것이라고 지적했습니다.

동시에 한계도 분명합니다. OpenAI의 작업은 존재 증명에 한정되며, mass gap 문제는 그대로 남아 있습니다. $100만의 Millennium Prize는 아직 누구에게도 돌아가지 않았고, 1954년 Pauli가 Yang에게 던진 '그래서 질량은 얼마인가'라는 질문은 72년이 지난 지금도 기술적으로는 답을 얻지 못했습니다.

이 증명을 받아들이는 방식은 세 층으로 나눠 보는 것이 정확하다고 봅니다.

검증 층위 상태 의미
기계 형식 검증(Lean) 완료(OpenAI 발표 기준) 적힌 논증에 논리적 공백이 없음을 기계가 확인
전문가 검토(5명 위원회) 진행 중 사람이 논증의 구조와 의미를 이해하고 확인하는 단계
공개 동료 검증 아직 시작되지 않음 학계 전체가 읽고 재현하고 비판하는 단계

Lean 검증이 끝났다는 것은 형식적으로 틀린 곳이 없다는 뜻이지, 사람이 그 내용을 이해하고 소화했다는 뜻은 아닙니다. 1,000쪽이 넘는 기계 생성 증명을 사람이 빠르게 감사하고 동료 검토하는 일은 그 자체로 큰 인지적, 실무적 부담이며, 이번 비공개 결정도 그 어려움의 한 단면으로 읽힙니다. 또 하나 주목할 변화는 발견이 일어나는 장소입니다. 공개 학술 환경에서 이뤄지던 발견이 기업 연구소 안에서 나오고, 학술 preprint 대신 기업 발표로 세상에 알려지는 흐름이 이번 사건에서 뚜렷하게 드러났습니다.

정리와 독자가 할 일

이번 사건의 핵심은 세 가지입니다. 첫째, OpenAI의 AI가 Yang-Mills 존재 증명을 만들었고 Lean 형식 검증을 통과했다는 발표가 있었습니다. 둘째, 그 증명은 아직 다섯 명의 위원회만 보고 있으며, 공개 검증은 시작되지 않았습니다. 셋째, mass gap은 미해결이고 상금도 지급되지 않았습니다. 이 속도라면 나머지 Millennium Prize 문제들도 1~2년 안에 AI에 풀릴 수 있다고 볼 수도 있지만, 이는 아직 전망일 뿐입니다.

독자가 할 수 있는 일은 다음과 같습니다.

  • 위원회의 검토 결과와 1,147쪽 원고의 공개 여부를 지켜보고, 공개 전까지는 '발표된 주장'과 '검증된 사실'을 구분해 받아들입니다.
  • Anthropic 측 연구진이 공개적으로 진행해 온 작업의 완성 여부를 함께 확인합니다. 독립적인 두 경로가 같은 결론에 이르는지가 중요한 판단 근거가 됩니다.
  • 존재 증명과 mass gap을 구분합니다. 'Millennium 문제가 풀렸다'는 식의 표현이 보이면 어느 절반을 말하는지 확인합니다.
  • 복잡한 다단계 논증을 다루는 분야에 있다면 Lean 같은 proof assistant로 결과를 기계 검증하는 방식과, 큰 작업을 모듈 단위로 쪼개 여러 LLM 인스턴스에 병렬로 맡기는 방식이 이번 사례에서 실제로 쓰였다는 점을 참고할 만합니다.
  • 수학과 이론물리학의 기초 성과는 생물학, 약학, 재료과학 같은 응용 분야의 후속 발견으로 이어질 가능성이 큰 만큼, 앞으로는 학술 preprint뿐 아니라 기업 연구소의 발표 채널도 함께 살펴볼 필요가 있습니다.