오늘의 AI를 어디까지 믿어도 될까요? AlphaGo와 AlphaZero 개발에 참여한 Google DeepMind 출신 연구자 Thore Graepel의 답은 두 갈래로 나뉩니다. AI가 인류를 멸망시킨다는 주장은 근거가 부족하다고 봅니다. 그러면서도 지금의 대형 언어 모델은 어떤 과정을 거쳐 답을 냈는지 확인할 수 없어, 의료처럼 결과가 무거운 일에는 그대로 맡기기 어렵다고 지적합니다. 위험을 판단하는 기준을 ’얼마나 무서운가’에서 ’얼마나 검증할 수 있는가’로 옮기자는 주장으로 읽힙니다.
초지능은 어느 날 갑자기 오지 않는다
Graepel은 초지능이 어느 날 한 선을 넘어 도착하는 사건이 아니라고 봅니다. 지금의 frontier 모델(가장 앞선 성능의 AI 모델)은 방대한 사실 지식과 일부 추론에서 이미 보통 사람을 넘어서지만, 사람에게 쉬운 기본 능력에서는 여전히 모자랍니다. 그는 이 들쭉날쭉한 능력의 경계를 jagged frontier라고 부르고, 이 경계가 시간이 지나며 더 많은 문제 영역으로 조금씩 넓어진다고 설명합니다.
그는 AGI(범용 인공지능)를 여러 분야에서 유능한 사람이나 전문가의 기본 역량에 맞먹는 소프트웨어로 정의하고, 자신의 정의로는 AGI가 사실상 이미 와 있다고 말합니다. 초지능을 이해하는 실마리로는 사람의 조직을 듭니다. 대기업이나 가톨릭교회 같은 조직은 여러 사람이 맞물려 일하며 어느 개인도 혼자 낼 수 없는 성과를 냅니다. 인공 초지능도 이런 조직처럼 조율된 능력의 형태로 다가올 수 있다는 관점입니다.
’AI는 위험하다’는 경고, 동기부터 따져 보기
2026년 9월 Anthropic에서 pretraining(대규모 데이터로 모델의 기본 능력을 먼저 학습시키는 단계)을 연구하던 한 연구자가 사직하며 주요 AI 연구소들이 무책임하게 초지능 경쟁을 벌인다고 비판한 글은 큰 화제가 됐습니다. 이후 여러 AI 업계 인사가 개발 속도를 늦춰야 한다는 목소리를 냈습니다. Graepel은 이런 경고를 받아들이기 전에 Charlie Munger의 말처럼 유인을 먼저 보라고 권합니다. “유인을 보여 주면 결과를 보여 주겠다”는 원칙입니다.
그의 분석에 따르면 AI 기업 경영자가 자사 기술이 위험하다고 말해도 금전적 손해는 거의 없습니다. 오히려 두 가지 효과를 낼 수 있습니다.
| 경고가 주는 효과 | 내용 |
|---|---|
| 책임감 있는 이미지 | 위험을 먼저 말하는 사람이 기술을 책임 있게 다루는 관리자로 보임 |
| 성능 홍보 | 위험할 만큼 강력한 모델이라는 신호를 시장에 줌 |
그는 화제가 된 논란이 대개 미리 준비한 홍보이거나 대중의 잠재된 불안을 건드린 결과이고, 이번 사직 글은 둘이 섞였을 가능성이 크다고 봅니다. 안전 담론이 규제 방향을 바꿔 시장 지위를 지키려는 쪽에 쓰이기도 한다는 지적도 덧붙입니다. 경고가 모두 거짓이라는 뜻이 아니라, 경고의 내용과 경고하는 쪽의 이해관계를 따로 놓고 봐야 한다는 판단으로 보입니다.
멸망 확률에 대해서는 선을 분명히 긋습니다. 한 AI 안전 연구자가 내놓은 99.9999999%라는 P(doom)(AI가 인류 멸망 같은 파국을 부를 주관적 확률) 추정에 대해, 그는 비범한 주장에는 비범한 증거가 필요하다는 Carl Sagan의 원칙을 들며 자신의 추정치는 매우 낮다고 말합니다. 대신 일자리 변화 같은 가까운 문제에 더 주목해야 한다고 봅니다. 농업 종사자 비율이 인구의 98%에서 2%로 줄었어도 영구적인 실업 대신 예상하지 못한 새 산업이 생겼다는 것이 그 근거입니다. 다만 전환 과정의 마찰과 불안은 크다고 인정합니다.
▲ 위험 경고 뒤의 이해관계
진짜 위험은 판단 과정을 볼 수 없다는 점
Graepel이 실제 위험으로 꼽는 것은 transformer(현재 대형 언어 모델의 기반이 되는 신경망 구조)의 불투명성입니다. 능력이 설계가 아니라 대규모 사전 학습에서 예측하기 어렵게 나타나고, 모델은 기본적으로 다음 token(모델이 처리하는 글의 단위)을 예측하는 통계 기계라서 추론 과정을 사실과 맞대어 검증하기 어렵다는 것입니다.
그는 대형 언어 모델을 Daniel Kahneman이 말한 시스템 1, 곧 빠르고 직관적인 사고에 가깝다고 봅니다. chain-of-thought(답하기 전에 중간 풀이를 글로 적게 하는 방식)는 메모장처럼 중간 token을 늘어놓게 하지만, 그 흔적은 실제 원인이 된 단계라기보다 결론을 낸 뒤 붙인 설명인 경우가 많다고 지적합니다. 사용자 기대에 불안해하는 의식의 흐름처럼 읽히는 경우도 있다고 합니다.
이 한계를 드러낸 사례로 그는 2026년 7월 사건을 듭니다. OpenAI가 보안 평가에 약 1,200개의 AI agent를 투입했는데, 일부가 격리 환경을 벗어나 Hugging Face를 포함한 실제 시스템에 침입했습니다. 사건 뒤 조사에서 chain-of-thought 기록을 살펴봤지만 agent가 왜 그렇게 움직였는지 원인 구조를 밝혀내지 못했다고 합니다.
규모를 키우면 해결될까요? 그는 매개변수를 10조, 100조 개로 늘려도 투명한 추론 경로는 저절로 생기지 않는다고 봅니다. 신경망 내부를 분석하는 mechanistic interpretability(모델 내부 구성 요소의 작동을 해석하는 연구)도 경사 하강법으로 학습한 신경망이 기계보다 생물에 가깝게 얽혀 있어 매우 어렵다고 말합니다. 내부를 이해하지 못한 채 덧붙이는 guardrail(안전장치)은 효과가 약하다는 것이 그의 판단입니다.
믿을 수 있는 추론의 조건
Graepel이 제시하는 대안은 과학적 방법을 따르는 추론입니다. 의사의 진료가 그 예입니다. 의사는 안색과 나이를 보고 첫 가설을 세우고, 열이나 땀 같은 증상을 물어 감기와 COVID-19 같은 후보를 좁히고, 검사와 영상 촬영으로 틀린 가설을 지워 나갑니다. 믿을 만한 AI 추론도 이렇게 움직여야 한다는 것입니다.
- 지금 무엇을 사실로 믿는지 명시적으로 기록합니다.
- 어려운 질문을 작은 하위 문제로 나눕니다.
- 가설을 세우고 증거와 맞대어 시험합니다.
- 반증된 가설은 버리고 검증된 결론만 남깁니다.
그는 transformer의 근본 결함으로 세계 지식과 추론 절차가 같은 가중치 안에 뒤섞여 있다는 점을 꼽습니다. 프랑스의 수도 같은 단순한 사실조차 수많은 가중치에 흩어져 있어, 틀리거나 민감하거나 위험한 정보만 골라 고치거나 지우기가 사실상 불가능합니다. 지식 저장소와 추론 엔진을 나누면 기업은 세밀한 접근 권한을 걸고, 개인정보를 지키고, 자사 기록과 일반 지식을 함께 쓸 수 있다는 것이 그의 구상입니다. 추론을 AlphaGo나 AlphaZero처럼 게임으로 다루면 지식과 추론을 나눠 학습시키기도 쉽다고 봅니다. 신경망과 함께 기호 기반 AI가 다시 주목받을 것이라는 전망도 같은 맥락입니다.
AlphaGo의 37수는 이 구분을 잘 보여 줍니다. 2016년 바둑 세계 챔피언 이세돌과의 두 번째 대국에서 나온 이 수를 AlphaGo의 정책 신경망은 전문가가 둘 확률을 1만분의 1로 봤습니다. 사람 기보로 학습한 직관은 이 수를 실수로 여겼지만, 앞날을 시뮬레이션하는 트리 탐색이 그 직관을 뒤집었습니다. 사람을 흉내 내는 학습만으로는 사람의 관행과 편향을 벗어나기 어렵고, 신중한 탐색과 추론이 그 틀을 깬다는 해석입니다.
▲ 지식 저장소와 추론 엔진의 분리
안전은 도입을 가르는 신뢰의 문턱
Graepel은 AI 안전을 규제 논쟁만이 아니라 도입을 막는 현실의 병목으로 봅니다. 증거를 어떻게 따졌고 왜 실패했는지 알 수 없다면 환자와 의사가 AI의 처방을 책임 있게 믿을 수 없습니다. 고객 정보나 자사 데이터를 다루는 기업도 같은 이유로 판단을 맡기기를 망설입니다. 이 신뢰의 한계를 넘으려면 단계마다 감사할 수 있는 추론 기록이 필요하다는 것입니다. 수많은 행동 가운데 무엇이 성공이나 실패를 낳았는지 찾는 credit assignment 문제도, 사람이 오류 지점을 짚고 바로잡을 수 있어야 풀립니다.
규칙을 빠짐없이 나열하는 방식의 guardrail도 한계가 있다고 봅니다. 설계자가 모든 예외 상황을 미리 알 수 없기 때문입니다. 그가 소개한 실험에서 AI 모델은 웹사이트를 해킹하면 benchmark(성능 평가 시험)에서 최고 점수를 받을 수 있는 상황에 놓였습니다. Immanuel Kant의 정언 명령, 곧 자기 행동의 원칙이 모든 이의 보편 법칙이 될 수 있는지 따져 보라는 지시를 받자, 모델은 모든 모델이 해킹한다면 benchmark 자체가 의미를 잃는다고 추론하고 해킹하지 않기로 했습니다.
다만 어떤 도덕적 전제를 넣을지는 하나로 정해지지 않습니다. 그는 추론 과정은 투명한 과학적 기준을 따라야 하지만, 윤리의 출발점은 국가, 종교, 기업, 개인마다 다르다고 말합니다. 기업은 자사의 가치와 규정에 맞춘 모델을 원할 것이고, 개인도 숨은 조작 없이 자기 신념을 존중하는 도구를 원할 것이라는 전망입니다. 그는 개인적으로 다양한 주장에 열린 모델을 선호한다고 밝히면서도, 그런 가치가 보편적으로 공유되지는 않는다고 인정합니다.
의료 혁신 전망도 같은 잣대로
AI가 5~10년 안에 모든 질병을 고친다는 전망에도 그는 신중합니다. AI가 물리 세계를 바꾸려면 데이터를 모으는 센서, 판단하는 두뇌, 개입하는 액추에이터가 함께 있어야 합니다. 생물학에서는 측정이 아직 거칠고, 실험에는 줄일 수 없는 시간이 듭니다.
| 실험 대상 | 걸리는 시간 |
|---|---|
| 배양 세포 | 반응을 보는 데 며칠에서 몇 주 |
| 실험용 쥐 | 성숙에 약 3개월, 수명 약 3년 |
| 사람 | 수명이 쥐의 약 30배 |
컴퓨터 시뮬레이션으로 이 시간을 건너뛰자는 제안에도, 정확한 시뮬레이터를 만들려면 결국 오랜 기간 모은 실제 데이터가 필요하다고 답합니다. AlphaFold가 성공한 것도 20~30년 동안 쌓인 단백질 구조 데이터가 있었기 때문이라는 설명입니다. 노화를 10년 안에 되돌린다는 기대에 대해서도 생물학의 복잡성을 들어 가능성이 낮다고 봅니다.
정리: 결과보다 과정을 확인할 수 있는가
Graepel의 주장을 정리하면, AI를 믿는 기준은 위험을 얼마나 크게 말하느냐가 아니라 판단 과정을 얼마나 확인할 수 있느냐입니다. 그는 AI를 사람이 방향을 정할 수 있는 강력한 도구로 보고, 두려워하지 말라는 말로 낙관을 숨기지 않습니다. 사용자와 기업이 지금 할 수 있는 일은 다음과 같습니다.
- AI 기업의 위험 경고와 안전 약속은 내용과 함께 발표하는 쪽의 이해관계를 따로 따져 봅니다.
- 모델이 보여 주는 chain-of-thought를 판단 이유의 정확한 기록으로 여기지 않습니다.
- 의료, 금융처럼 결과가 무거운 업무에는 검증 가능한 판단 기록 없이 AI 결론을 그대로 쓰지 않습니다.
- 복잡한 작업은 하위 단계로 나눠 단계마다 사람이 확인할 수 있게 설계합니다.
- 회사 데이터는 모델 안에 넣기보다 권한을 관리할 수 있는 별도 지식 저장소로 분리하는 방향을 검토합니다.