Claude가 증명한 Riemann 영점 3분의 2, 가설 해결은 아니다

Anthropic의 공개되지 않은 연구용 Claude 모델이 Riemann 가설에 도전했지만 가설을 풀지는 못했습니다. 그 대신 Riemann 제타 함수의 비자명 영점(Riemann 가설이 다루는 영점) 가운데 3분의 2 이상이 단순 영점이면서 임계선 위에 있다는 사실을, 증명되지 않은 가정 없이 증명했습니다. 1989년 이후 31년 동안 42%에 조금 못 미치는 수준에 머물던 기록을 한 번에 넘어선 결과입니다. 한 달도 지나지 않아 사람 수학자들은 이 증명을 더 간결하게 다시 쓰고 다른 문제로 넓혔습니다. 무엇이 증명됐고 무엇이 남았는지, AI가 수학 연구에서 어떤 몫을 맡았는지 정리합니다.

소수의 자리를 정하는 영점

소수는 더 작은 두 정수의 곱으로 나눌 수 없는 수입니다. 12는 3과 4의 곱으로 나뉘지만 7은 나뉘지 않습니다. 소수는 모든 정수를 이루는 기본 재료이지만, 수직선 위에서 소수가 나타나는 자리에는 쉽게 예측할 수 있는 규칙이 없습니다.

Bernhard Riemann은 1859년 소수의 자리가 제타 함수의 값이 0이 되는 점, 곧 영점에 따라 정해진다는 것을 보였습니다. 소수 분포는 오케스트라에 자주 비유됩니다. 매끄러운 추정 함수가 바탕을 깔고, 영점 하나하나가 그 추정을 바로잡는 파동을 더합니다. 악기가 하나씩 더해지듯 영점을 더할수록 흐릿하던 추정이 소수 하나하나의 정확한 자리로 또렷해집니다.

영점 하나를 음향 조정기의 조절 칸 하나에 빗대면 이해하기 쉽습니다. 칸마다 높이를 정하는 손잡이(허수부)와 실수부를 정하는 슬라이더가 있다고 생각하면 됩니다. Riemann 가설은 비자명 영점의 슬라이더가 모두 정확히 2분의 1에 놓여 있다는 주장이고, 이 슬라이더들이 이루는 곧은 선을 임계선이라고 부릅니다. 영점 하나라도 이 선을 벗어나면 조화가 무너집니다. Clay Mathematics Institute의 공식 문제 설명도 가설이 틀리면 소수 분포에 큰 혼란이 생긴다고 적고 있습니다. 이 연구소는 가설을 증명하거나 해결하는 사람에게 $100만의 Millennium Prize를 걸어 두었습니다.

이번 결과에는 ’단순’이라는 조건이 하나 더 붙습니다. 단순 영점은 영점마다 축을 하나씩 따로 가로지른다는 뜻입니다. 영점끼리 겹치거나, 축에 닿기만 하고 가로지르지 않는 경우가 아니라는 말입니다.

12조 개를 확인해도 증명이 아닌 이유

고성능 컴퓨터는 12조 개가 넘는 영점을 계산해 하나도 빠짐없이 임계선 위에 있음을 확인했습니다. 하지만 영점은 무한히 많아서, 이런 계산은 끝없는 책의 첫 쪽을 읽은 것에 지나지 않고 증명이 될 수 없습니다. 그래서 수학자들은 전체 영점 가운데 적어도 몇 퍼센트는 반드시 임계선 위에 있다는 하한을 해석적으로 증명하는 길을 걸어 왔습니다.

30년 넘게 10년에 겨우 1%포인트 정도씩 오르던 값이 단번에 3분의 2를 넘었습니다. Anthropic은 8월 10일 이 결과를 발표하면서 수십 년에 걸친 사람 수학자들의 연구에 공을 돌렸습니다.

650번 실패한 뒤 Claude 60개로 꾸린 연구 팀

이번 시도는 수학자가 아닌 Anthropic의 한 직원이 Claude에게 Riemann 가설을 제대로 한번 풀어 보라고 맡기면서 시작됐습니다. 혼자 문제를 붙든 첫 시도는 실패였습니다. Claude가 내놓은 수학적 아이디어 650개 정도가 모두 통하지 않았습니다.

열흘쯤 지나 연구진은 실험을 다시 돌렸습니다. 이번에는 Claude 하나가 관리자 agent(맡은 목표를 스스로 계획하고 처리하는 AI 실행 단위)가 되어 Claude 사본 약 60개에게 일을 나눠 맡기는 연구 팀 구조였습니다. 이 구조에는 틀린 증명을 일찍 걸러 내는 장치가 들어 있었습니다.

• 닮은꼴 함수 검사: Riemann 가설이 틀린 것으로 알려진 가짜 함수에 같은 기법을 적용합니다. 그 기법이 가짜 함수의 영점까지 모두 임계선 위에 있다고 ’증명’해 버리면 결함이 있는 기법으로 보고 바로 걸러 냅니다.
• 격리된 오류 찾기: 8월 초 한 작업 agent가 영점의 50% 이상이 임계선 위에 있다고 보고하자, 관리자 agent는 이를 의심하고 주장을 논리 단계 세 부분으로 나눠 서로 떨어진 agent들에게 오류를 찾게 했습니다.
• 한 단계 더: 세 부분이 모두 검토를 통과하자, 일을 맡긴 직원은 3분의 2를 목표로 더 밀어붙이게 했습니다.

그다음은 계획대로 흘러가지 않았습니다. 관리자 agent의 계획은 통하지 않았고, 한 작업 agent가 계획에서 벗어나 다섯 줄짜리 새 증명을 만들어 냈습니다. 이 agent는 증명을 디스크에 저장하고 4분 뒤 서버 API 오류로 문장 중간에 멈췄지만, 관리자 agent가 폴더에서 그 파일을 찾아냈습니다. 일을 맡긴 직원은 ‘계속해’, ‘너 자신을 믿어’ 같은 말로 Claude가 스스로에 대한 의심을 넘어서도록 거듭 북돋웠습니다.

Anthropic은 실행 기록을 그대로 엮어, 사람이 쓰거나 고치지 않은 상세 보고서도 공개했습니다. 다만 이 기록 속 중간 계산은 외부에서 검증하지 않았다고 밝혔습니다. 검증을 거친 것은 최종 논문입니다.

▲ agent 60개로 꾸린 연구 팀

사람의 검토와 Lean, 두 겹의 검증

결과는 두 갈래로 검증했습니다.

1. 사람의 검토: Anthropic의 수학자 두 명이 수학적 논증을 직접 검토했습니다. 두 사람은 자기 이름으로 논문을 내면서 발견은 Claude가 스스로 해냈다고 밝히고, 오류가 있다면 그 책임은 자신들이 지기로 했습니다.
2. 기계 검증: Claude가 증명을 Lean(모든 추론 단계를 엄격한 논리 기초에 비춰 컴퓨터가 검사하는 형식 증명 소프트웨어) 코드로 직접 옮겼고, Lean과 수학 라이브러리 Mathlib이 이를 확인했습니다. Lean의 표준 공리 세 가지 말고는 증명되지 않은 가정이 하나도 없었고, Lean에 넣은 정의가 논문의 정의·정리와 같다는 점도 Anthropic의 수학자가 확인했습니다.

외부 정수론 학자 Brian Conrey와 Dan Goldston도 짧은 기간에 논문을 읽어 보았습니다. 그러나 이런 비공식 검토는 학술지 게재 승인과 다릅니다. 외부 검토자들이 증명이 옳다고 공식적으로 확인한 것은 아니고, 학술지 동료 평가도 끝나지 않았습니다. 또 Lean 검증은 논리에 빈틈이 없다는 것을 보장할 뿐, 그 결과가 왜 성립하는지 사람이 이해했다는 뜻은 아닙니다.

50년 묵은 전제를 걷어 낸 방법

3분의 2라는 숫자는 1973년 Hugh Montgomery에게서 나왔습니다. Montgomery는 영점들이 얼마나 가깝게 모여 있는지를 보는 쌍 상관(pair correlation)을 분석했습니다. 홀로 떨어진 영점에는 1점, 서로 겹친 영점에는 더 높은 점수를 매기면 평균 점수가 3분의 4를 넘지 않는다는 것입니다. 평균이 3분의 4 이하라면 영점 셋 가운데 적어도 둘은 1점을 받아야 하므로, 3분의 2 이상이 단순 영점이라는 결론이 나옵니다.

문제는 이 추론이 Riemann 가설이 참이라는 가정 위에 서 있었다는 점입니다. 이 단서는 50년 동안 거의 손대지 않은 채 남아 있었습니다.

2022년부터 Dan Goldston과 공동 연구자들이 Montgomery의 공식을 고쳐 Riemann 가설이라는 전제를 걷어 냈습니다. 하지만 3분의 2에 이르려면 모든 영점이 임계선에서 머리카락 한 올 차이만큼 가까이 있다는 다른 단서가 필요했습니다. 임계선을 벗어난 영점은 선을 사이에 두고 대칭인 쌍으로 나타나서, Montgomery의 틀에서는 두 배로 계산되기 때문입니다.

Claude의 논문은 Goldston 연구진의 통찰에 Enrico Bombieri의 2000년 논문을 결합해 이 근접 조건마저 없앴습니다. 그 결과 아무 미증명 가정 없이 3분의 2를 증명할 수 있었습니다. AI가 혼자 수학자들을 앞지른 것이라기보다, 사람들이 몇 년째 다듬어 오던 증명의 흐름을 마무리한 것에 가깝다고 볼 수 있습니다.

같은 방법으로는 가설에 닿지 못한다

Anthropic은 Claude가 찾은 기법으로 Riemann 가설 전체를 증명할 수 있으리라고 기대하지 않는다고 분명히 밝혔습니다. 까닭은 방법 자체에 있습니다. 이 방법이 기대는 성질은 가설이 성립하지 않는 닮은꼴 함수에도 똑같이 들어맞습니다. 그래서 진짜 제타 함수의 영점과, 닮은꼴 함수에서 임계선을 벗어나 드문드문 흩어진 영점을 구별하지 못합니다. 같은 계열의 논증이 이를 수 있는 이론상 최댓값은 약 0.682, 곧 68% 남짓입니다. 3분의 2를 넘긴 이번 결과는 이미 그 천장 가까이 온 것으로 보입니다.

사람 수학자가 다시 쓴 증명

Claude의 증명은 영점의 수에 맞춘 거대한 유한 차원 행렬을 세우고, 행렬에 관한 정리와 부등식으로 한계를 끌어내는 방식이었습니다. 사람 수학자들에게는 기술적으로 복잡하고, 왜 그렇게 되는지를 직관적으로 보여 주지 못하는 증명이었습니다. 후속 연구는 빠르게 나왔습니다.

University of Lorraine의 수학자는 Claude의 행렬 방식과 자신의 방식이 결국 같은 극값 문제를 푼다는 것도 보였습니다. 기계가 만든 복잡한 증명을 사람이 더 투명한 형태로 정리하고 넓힌 셈입니다. 거대한 표나 행렬에 기댄 기계 증명은 그 밑의 수학적 구조를 가릴 수 있어, 이런 재정리의 가치가 작지 않아 보입니다.

▲ 복잡한 행렬에서 간결한 증명으로

공개되지 않은 모델이 부른 논쟁

이번 연구에 쓰인 모델은 공개되지 않은 내부 개발판이어서 다른 연구자들은 모델을 직접 시험하거나 돌려 볼 수 없습니다.

2026년 9월 29일 Institute for Advanced Study의 수학·AI 자문 그룹(AGMAI)이 AI가 만든 수학의 책임 있는 공개를 다룬 권고안을 내놓았습니다. Fields Medal 수상자 3명을 포함한 수학자 9명으로 이뤄진 이 그룹은, AI 연구소가 외부에서 쓸 수 없는 독점 모델로 수학 추측을 시험하는 일을 지지하지 않는다고 밝혔습니다. OpenAI의 전속 자문 기구가 되어 달라는 제안도 거절하고, 보수를 받지 않는 독립 감시 기구로 남기로 했습니다.

권고안은 수학 성과를 발표하는 연구소가 다음을 특정 회사에 묶이지 않은 공개 저장소에 내놓으라고 권합니다.

• 어떤 모델을 썼는지
• prompt(AI에 준 지시문) 기록
• 계산 시간과 비용
• 검증을 마친 형식 증명

Anthropic은 상세한 실행 기록과 Lean 코드는 공개했지만, 든 비용과 정확한 내부 모델 버전은 밝히지 않았고 모델 접근도 열지 않았습니다. 권고안은 닫힌 모델이 획기적인 수학 성과를 기업 연구소가 독차지하고 대학 같은 학술 기관은 뒤처지는 두 계층 구조를 만들 수 있다고 경고합니다. 수학 AI 도구를 모두에게 열지 담장 안에 둘지는 기술이 정해 주는 것이 아니라 사람이 고를 문제로 보입니다.

정리: ’AI가 난제를 풀었다’는 소식을 읽는 법

Claude는 Riemann 가설을 풀지 못했습니다. 하지만 31년 동안 42% 아래에 머물던 기록을 단번에 3분의 2 위로 올렸고, 그 증명은 Lean으로 검증됐습니다. 사람 수학자들은 곧바로 이 증명을 다듬고 넓혔습니다. AI 혼자 이룬 성과라기보다 사람의 정수론과 AI가 함께 세운 이정표로 보는 편이 정확해 보입니다.

비슷한 소식을 접하면 다음을 차례로 확인해 보길 권합니다.

• 추측 전체를 증명했는지, 하한 같은 부분 결과를 얻었는지 구분합니다.
• Lean 같은 형식 검증을 거쳤는지, 형식화한 정의가 논문의 주장과 같은지 봅니다.
• 학술지 동료 평가를 마쳤는지, 비공식 검토에 그쳤는지 확인합니다.
• 모델 버전, prompt, 계산 비용이 공개됐는지 살펴봅니다.

어려운 기술 문제에 AI를 쓰고 있다면 이번 사례의 작업 방식도 참고할 만합니다.

• prompt 하나로 길게 끌고 가기보다 역할을 나눈 여러 agent의 팀으로 짭니다.
• 틀린 것으로 알려진 반례나 닮은꼴 문제로 결과를 검사해 거짓 증명을 일찍 걸러 냅니다.
• 검토를 맡은 agent끼리 서로의 판단을 보지 못하게 떼어 놓습니다.
• 중간 결과는 대화 맥락에만 두지 말고 파일로 저장해 서버 오류에 대비합니다.