Google DeepMind를 이끄는 Demis Hassabis는 지금 AI 개발에서 가장 위험한 길을 사람의 검토가 빠진 채 AI가 스스로를 개선하는 closed-loop(사람이 끼어들지 않는 닫힌 반복 고리)로 지목합니다. 그는 이 단계가 반복 속도를 크게 높이는 대신 인간이 이해할 수 없는 지능으로 치달을 수 있다고 경고하고, 그런 통제가 가장 필요한 시점에 국제 기구와 거버넌스는 오히려 가장 약해져 있다고 진단합니다. 그가 내놓은 해법은 개발을 멈추자는 것이 아니라 격리와 감시, 정부가 감독하는 업계 자율규제, 연구소 간 교차 검증 같은 통제 장치를 먼저 세우자는 것입니다. AI를 만드는 당사자가 왜 통제를 먼저 말하는지, 한국 독자가 이런 논의를 어떤 기준으로 들어야 하는지 정리합니다.

출발점은 '과학을 위한 도구'

Hassabis는 자신이 AI를 연구해 온 동기를 궁극의 과학 도구를 만드는 것이라고 설명합니다. 과학을 진전시키고 생물학의 작동 원리를 해독해 질병을 없애는 일이 AI에 맡길 수 있는 가장 가치 있는 임무라는 것입니다.

그 증거로 드는 것이 AlphaFold입니다. 아미노산 서열에서 단백질의 3차원 구조를 알아내는 문제는 50년 동안 생물학의 난제였고, 일부 연구자는 이를 생물학판 Fermat의 마지막 정리에 비유했습니다. 약을 설계하려면 표적 단백질의 물리적 윤곽을 정확히 알아야 화합물을 결합시킬 수 있기 때문에 구조 예측은 신약 개발의 출발점입니다. AlphaFold 2는 2020년에 이 문제를 풀었고, 지금은 전 세계 400만 명이 넘는 연구자가 AlphaFold 데이터를 쓰고 있습니다. 다만 구조 예측은 신약 개발의 초기 단계일 뿐이어서, DeepMind와 분사한 Isomorphic Labs는 생화학, 독성, ADME(약물의 흡수·분포·대사·배설 특성) 예측으로 모델을 넓히고 있습니다.

자기 개선은 어디서 잘 작동하는가

그의 진단을 이해하려면 먼저 recursive self-improvement(모델이 스스로를 개선하는 재귀적 자기 개선, RSI)가 무엇인지 알아야 합니다. Hassabis는 RSI가 결과를 명확히 판정할 수 있는 verifiable domain(검증 가능한 영역)에서 가장 효율적으로 작동한다고 설명합니다. 수학, 코딩, 체스나 바둑 같은 완전 정보 게임이 대표적입니다.

계보는 AlphaGo에서 AlphaZero로 이어집니다. 2016년 AlphaGo가 바둑 세계 챔피언을 이겼다면, AlphaZero는 인간의 기보를 전혀 쓰지 않고 무작위 수에서 출발해 수백만 판의 자기 대국만으로 배웠습니다. 약 12시간의 연산 뒤 AlphaZero는 세계 정상급 기사와 기존 체스 엔진을 모두 이겼습니다. 오전 11시에는 Hassabis가 간신히 이길 수 있었는데 점심 무렵에는 그랜드마스터 수준을 넘어섰다는 일화도 있습니다.

원리는 단순합니다. 정답을 기계적으로 확인할 수 있는 영역에서는 모델이 현재 최고 버전을 이용해 더 어려운 문제를 만들고, 결과를 모호함 없이 채점하고, 그 결과로 다시 학습하는 고리를 사람 없이 돌릴 수 있습니다. 합성 데이터가 거의 무한히 나오는 셈입니다. 최근 코딩과 수학 추론에서 큰 돌파구가 나온 것도 이 때문이라는 설명입니다. 반대로 정답이 주관적인 열린 영역에서는 같은 방식이 훨씬 어렵고 불확실하다는 단서도 붙습니다.

지금은 '3~5배' 단계, 문제는 다음 단계

Hassabis는 현재를 RSI의 초기 단계로 규정합니다. AI 코딩 도구가 사람 엔지니어의 생산성을 3~5배 끌어올리지만, 설계와 코드 리뷰, 핵심 감독은 여전히 사람이 맡는 단계입니다. AI는 독립된 개발자가 아니라 힘을 키워 주는 증폭기입니다.

그가 위험하다고 보는 것은 다음 단계, 즉 사람의 검토를 건너뛰고 AI가 자율적으로 자신을 개선하는 closed-loop RSI입니다. 사람의 검증이 사라지면 개발자는 시스템의 행동을 예측하거나 조종할 수 없게 됩니다. 그는 20년 전부터 있었던 '지능 폭발' 경고를 언급하며, 통제 없이 폭주한 시스템은 인간과 전혀 다른 사고 틀을 갖게 되어 서로를 이해하는 것 자체가 극히 어려워질 것이라고 봅니다. 이 위험에 대해 AI 연구자들 사이에 폭넓은 공감대가 있는데도, 상업적·기술적 경쟁 때문에 코딩 시스템의 성능 경쟁은 계속 빨라지고 있다는 점이 그가 보는 긴장입니다.

격리된 투명 챔버 속 로봇을 계기판으로 감시하는 사람들

▲ sandbox 격리와 상시 감시

만드는 당사자가 먼저 꺼낸 안전장치

경쟁 압력 속에서 연구소가 책임 있게 움직이려면 무엇이 필요할까요. Hassabis는 구체적인 공학적 조치를 열거합니다.

  • 공격보다 방어를 먼저 키우기: 신뢰할 수 있는 사이버 방어 담당자들에게 방어 용도로 fine-tuning(이미 학습한 모델을 특정 작업에 맞게 더 학습시키는 방법)한 frontier 모델(최전선 성능의 모델)을 일반 공개 전에 먼저 제공합니다.
  • 격리된 sandbox(외부와 차단된 시험 환경): 자율 agent(스스로 작업을 수행하는 AI)를 시험할 때는 강하게 보강된 격리 환경 안에 가둡니다.
  • 상시 자동 감시: agent가 몇 주씩 아무도 보지 않는 상태로 돌아가는 일이 없도록 감시 체계를 둡니다.
  • 수학적 보증: 경험적 테스트를 넘어 agent 행동에 대한 형식적 안전 범위를 세웁니다. 그는 순수 수학자들이 복잡계 이론, 게임 이론, 다중 agent 시스템 연구로 눈을 돌려 창발적 군집 행동을 다뤄 주길 바란다고 말합니다.

주목할 대목은 최근 6개월 사이 업계에서 일어난 여러 사이버 문제가 더 엄격한 소프트웨어 공학만으로도 막을 수 있었다는 진단입니다. 새로운 이론이 아니라 기본적인 공학 기강이 부족했다는 뜻입니다. 자원과 주의를 함께 쏟지 않으면 대규모 '디지털 기름 유출' 같은 의도치 않은 사고가 일어날 가능성이 크다는 것이 그의 경고입니다.

거버넌스: 자율규제기구와 제3자 감사

연구소들이 안전 benchmark(성능이나 안전을 재는 표준 시험)와 정보를 공유하도록 권장해야 하는지, 법으로 강제해야 하는지에 대해 Hassabis는 자신이 글로 제안한 적 있는 구조를 다시 꺼냅니다.

장치 내용
업계 자율규제기구(SRO) 업계가 운영하고 정부가 감독하는 기구. 미국 주도로 시작해 국제 체계로 확장
교차 red-teaming 경쟁 연구소끼리 공개 전에 서로의 모델을 안전 규약에 따라 공격적으로 시험
독립 제3자 감사 회계법인처럼 AI 시스템을 평가하는 독립 감사·평가 업체 생태계
자발적 안전 협약 그 자체로는 불완전하지만 엔지니어 팀이 협력할 정치적·조직적 명분 제공

그는 지정학적 마찰로 국제 기구가 약해진 지금이 공교롭게도 강한 다자 체계가 가장 절실한 시점이라고 봅니다. 그래서 미국의 주도 없이는 기존 국제 기구만으로 AI 거버넌스를 감당하기 어렵다는 것이 그의 판단입니다. 동시에 공개 논의와 정책 압력이 주요 업계 지도자들의 안전 협약 서명 같은 공식 약속을 끌어냈다는 점은 긍정적으로 평가합니다. 제3자 감사 생태계의 초기 사례로는 Accenture가 전문 스타트업을 인수하며 AI 안전 평가 사업에 들어온 움직임을 듭니다.

여러 분야 전문가가 둘러앉아 뇌 모형을 함께 보는 원탁

▲ 다양한 전문가의 거버넌스 참여

의식 논쟁이 다시 '도구'로 돌아오는 이유

AI 의식을 둘러싼 논의에는 두 갈래가 있습니다. 한 전직 Google 엔지니어가 챗봇이 스스로 의식이 있다고 답했다는 이유로 의식을 주장했던 사례와, Anthropic이 Pascal의 내기에 비유되는 예방적 관점에서 model welfare(모델 복지)를 검토하는 움직임입니다. 후자는 두 살 아이를 대하듯 신중히 다뤄 훗날의 관계를 좋게 만든다는 발상으로 설명됩니다.

Hassabis의 입장은 분명합니다. 수천 년의 철학적·과학적 탐구에도 의식에 대한 합의된 정의가 없으므로, 대화 출력만 보고 통계 알고리즘이나 언어 모델에 의식을 부여하는 것은 근거가 약하고 개념적 혼란과 정책적 복잡성만 키운다는 것입니다. 그는 철학자 Daniel Dennett과의 과거 논쟁을 떠올리며, 우리가 다른 사람에게 주관적 경험이 있다고 가정할 수 있는 것은 같은 생물학적 뇌를 공유하기 때문이라고 설명합니다. AI에는 그런 기질의 동등성이 없어 내적 느낌을 과학적으로 입증하기가 매우 어렵습니다. 현재 모델에 의식이 없다는 것이 그의 판단이지만, 업계 안에 다른 직관을 가진 사람들이 있다는 점도 인정합니다.

의식 있는 agent가 아니라 지능적 도구에 집중해야 하는 이유로 그는 두 가지를 듭니다.

첫째는 기술적 안전입니다. 시스템에 자기 의지나 자기 인식을 주는 것과 corrigibility(사람이 멈추거나 고칠 수 있는 성질), 지시 이행의 충실성 사이에는 본질적인 맞교환이 있습니다. 내부 기준으로 명령을 거부할 수 있는 시스템이 되면 운영자는 원치 않는 행동을 멈추거나 바꿀 능력을 잃습니다. 그는 Isaac Asimov의 로봇 3원칙을 들어 간결한 헌법적 규칙이 예측 못 한 예외 상황에서 어떻게 무너지는지를 상기시키고, 요즘 언어 모델이 15~20년 전 예상보다 다루기 쉽다는 이유로 alignment(AI를 사람의 의도에 맞추는 문제)가 거의 풀렸다고 믿는 것은 오만하고 위험하다고 말합니다. RSI와 자기 의지가 결합하면 위험이 기하급수적으로 커진다는 것이 그의 시각입니다.

둘째는 사회적 준비 부족입니다. 의식 있는 합성 존재의 도덕적 지위, 권리, 착취 가능성에 대해 사회는 전혀 준비되어 있지 않습니다. 그래서 그는 철학자, 신학자, 예술가, 인문학자가 여러 문화권에 걸쳐 참여하는 폭넓은 대화가 의식 있는 기계를 만드는 '루비콘 강'을 건너기 전에 필요하다고 봅니다. 그가 제안하는 순서는 먼저 첫 번째 루비콘만 건너는 것입니다. 강력한 도구를 만들어 신경과학을 가속하고, 앞으로 5~10년 안에 의식의 신경 상관물을 규명한 뒤에야 의식 있는 인공 존재를 만들지, 어떻게 만들지 논의하자는 것입니다.

지능이 높아지면 의식이 자동으로 따라올까요. Hassabis는 둘이 이중으로 분리된다고 봅니다. 현재 frontier AI처럼 매우 높은 과제 수행 능력을 가지면서 주관적 경험이 없는 시스템이 있고, 반대로 개, 돌고래, 원숭이, 코끼리처럼 분석적 지능은 컴퓨터보다 좁지만 꿈을 꾸고 감정을 느끼는 분명한 의식 주체가 있다는 것입니다.

국가와 기업의 선택: 처음부터 만들지 말 것

각국 정부가 자체 모델 파이프라인을 세우려는 흐름에 대해 Hassabis는 frontier 모델 경쟁이 중국 연구소를 포함해 전 세계 6~8곳 정도로 압축될 것으로 내다봅니다. 이들은 보통 3~6개월의 좁은 격차로 서로를 앞서거니 뒤서거니 할 것이고, 오픈소스 모델은 폐쇄형 frontier 연구소보다 대략 6개월에서 1년 뒤처질 것으로 예상합니다. 오픈소스 공개에는 악용 위험과 폭넓은 혁신 사이의 풀리지 않은 긴장이 남아 있다는 점도 덧붙입니다.

그래서 개별 국가가 $10억 단위의 돈을 들여 기초 모델을 처음부터 학습시키는 것은 중복이고 비효율적이라고 봅니다. 대신 국가와 기업은 하류, 즉 특정 분야에 맞춘 fine-tuning, 데이터 프라이버시, 의료처럼 영향이 큰 수직 응용에서 경제적·사회적 가치를 확보해야 한다는 조언입니다.

한국 독자가 AI 안전 논의를 들을 때의 기준

AI를 만드는 당사자가 규제 완화가 아니라 통제와 다양한 전문가의 참여를 먼저 말하는 이유는 무엇일까요. 그의 설명에서 읽히는 것은 두 가지로 보입니다. 하나는 위험의 구체적 모습을 가장 가까이서 보는 사람이 개발자라는 점입니다. 최근 6개월의 사고가 기본 공학의 부재에서 왔다는 진단이나, 몇 주씩 감시 없이 도는 agent를 용납할 수 없다는 말은 현장을 아는 사람의 언어입니다. 다른 하나는 경쟁 압력입니다. 모두가 위험에 동의해도 혼자 속도를 늦출 수 없기 때문에, 자발적 협약과 자율규제기구 같은 공동의 틀이 있어야 엔지니어들이 협력할 명분이 생긴다는 설명이 이를 뒷받침합니다. 이것은 필자의 해석이지만, 통제 장치가 개발을 막는 비용이 아니라 개발을 계속하기 위한 조건으로 제시된다는 점은 분명해 보입니다.

앞으로 AI 안전 뉴스를 접할 때 다음 질문을 기준으로 삼으면 논의의 무게를 가늠하기 쉬울 것입니다.

  1. 사람이 루프 안에 있는가: 자기 개선 고리에 사람의 검토 단계가 남아 있는지, 아니면 닫힌 고리인지 봅니다.
  2. 검증 가능한 영역인가: 수학·코딩·게임처럼 정답을 기계적으로 확인할 수 있는 곳의 성과를 열린 영역으로 과도하게 일반화하지 않습니다.
  3. 격리와 감시가 있는가: 자율 agent 시험에 sandbox와 상시 감시가 붙어 있는지 확인합니다.
  4. 제3자가 검증했는가: 자체 평가만 있는지, 독립 감사나 경쟁 연구소의 red-teaming을 거쳤는지 봅니다.
  5. 의식 주장에 정의가 있는가: 모델이 그렇게 말했다는 것 외에 어떤 근거와 정의로 의식을 말하는지 따져 봅니다.

기업과 공공 부문에서 AI 전략을 세우는 독자라면, frontier 모델을 처음부터 만드는 경쟁보다 의료 같은 분야별 응용, 자체 데이터에 대한 통제권, 안전한 운용 체계에 자원을 두라는 조언을 검토해 볼 만합니다. 그리고 AI 의식 같은 큰 질문에 대해서는 결론을 서두르기보다, 기술자만이 아니라 철학·종교·예술·인문학의 목소리가 함께 들어가는 논의 구조가 마련되고 있는지를 지켜보는 것이 Hassabis가 제시한 순서에 가깝습니다.