인공지능 개발 속도가 사람의 감독과 개입 능력을 앞지를 수 있다는 경고가 UN 안전보장이사회에서 나왔습니다. OpenAI 최고경영자 Sam Altman은 세계가 새로운 르네상스와 사회적 격변을 동반한 산업혁명 사이의 갈림길에 서 있다고 말했습니다. 그가 꼽은 두 가지 실존적 위험은 인간이 통제권을 잃는 상황과 권력이 소수에게 극단적으로 집중되는 상황입니다. 경쟁이 안전 검증을 건너뛸 이유가 되지 않는다는 강조와 함께, 국제 공통 안전 기준과 사고 보고 체계가 제안됐습니다.
르네상스와 산업혁명 사이
Altman은 AI에 대한 공개 논의가 여러 해 이어졌지만 최근 몇 달 사이 논의의 밀도와 시간표가 급격히 압축됐다고 진단했습니다. 그래서 지금의 선택은 창의성과 발견으로 특징지어지는 현대판 르네상스와, 사회적 격변과 마찰을 동반하는 산업혁명 사이의 갈림길이라는 것입니다.
그는 과거의 르네상스가 성공한 이유를 새로운 도구와 아이디어, 제도가 인간의 잠재력을 끌어냈기 때문이라고 설명했습니다. 인간은 원래 능력을 갖고 있지만 주의를 빼앗거나 독점하는 결함 있는 기술에 가로막혀 왔다는 것입니다. 그래서 AI는 학습과 과학적 탐구, 시민 참여에서 인간의 주체성을 높이는 방향으로 설계돼야 하며, 사람을 자동화된 기계의 부품으로 만들어서는 안 된다고 그는 주장했습니다.
▲ 인간 통제의 경계
디스토피아 공상과학 서사나 대중의 불안을 단순한 과장으로 보기는 어렵다는 점도 인정했습니다. 모델의 성능 향상 속도가 전례가 없기 때문입니다. 특히 AI가 스스로 다음 버전을 수정하고 개발 속도를 높이는 재귀적 자기 개선 능력을 갖추는 상황에 대한 긴장이 커지고 있다고 그는 짚었습니다.
두 가지 실존적 위험
Altman은 AI 연구자 Yoshua Bengio가 정리한 안전 관점에 동의하며 위험을 두 가지 실패 유형으로 나눴습니다.
첫째는 통제 상실입니다. 개발 속도가 인간의 감독 능력과 제도, 개입 장치보다 빨라질 때 미래의 AI 시스템에 대한 통제권을 잃을 수 있다는 것입니다. 그는 경제적 이익이나 기술적 편익이 커 보인다는 이유만으로 기술적 도박을 해서는 안 된다고 경고했습니다. 기업 간 또는 국가 간 경쟁에서 앞서는 것이 무모하고 성급한 결정을 정당화하지 않는다는 것입니다. OpenAI는 이전에도 정렬과 안전을 보장할 수 없다고 판단해 개발 속도를 일방적으로 늦춘 적이 있고 앞으로도 그렇게 하겠다고 밝혔습니다. 재앙 확률이 10%든 1%든 0.1%든, frontier 기술에서는 도덕적으로 용납할 수 없다는 것이 그의 표현입니다.
둘째는 권력의 과도한 집중입니다. 소수의 기업이나 개인, 정부가 AI 권한을 독점하는 상황을 경계했습니다. 어느 단일 행위자도 자신만이 신뢰할 수 있는 관리자라는 명분으로 자기 세계관을 인류 전체에 강요할 힘을 가져서는 안 된다는 것입니다.
세 가지 원칙과 수학에서의 도약
그는 무비판적 낙관론과 마비시키는 절망론을 모두 피하는 중간 경로를 세 가지 원칙으로 제시했습니다.
- 의사결정의 중심에 인간을 둡니다. AI의 결정과 거버넌스, 도덕적 판단에서 인간이 주도권을 쥐어야 합니다. 그는 정렬을, 인지 능력이 커질수록 고급 모델이 인간의 의도와 가치를 충실히 따르도록 만드는 시급한 기술적 요구 사항으로 규정했습니다.
- 경제적 번영과 과학적 성과가 인류 전체에 돌아가야 합니다. 교육자와 의사, 창업가, 과학자에게 일상적인 조력자로 쓰이는 모습을 그렸습니다.
- 개인과 지역의 역량을 키우는 방향이어야 합니다. 위에서 아래로 내려오는 중앙집권적 지배가 아니라 개별 주체의 힘을 길러야 한다는 것입니다.
▲ 유체 흐름 시각화
수학에서의 진전도 근거로 제시했습니다. 3년 전 여름에는 초등학교 수준 산술을 푸는 정도였고, 2년 전 여름에는 고교 수학 경시 문제를 다뤘으며, 1년 전 여름에는 국제 수학 올림피아드 금메달급 성능에 도달했습니다. 최근에는 유체 흐름을 기술하는 Navier-Stokes 방정식과 관련된 밀레니엄 문제급 과제를 해결했습니다. Navier-Stokes 방정식은 항공기 설계와 기상 예측, 혈류 모델링에 쓰이는 방정식입니다.
| 시점 | 모델이 도달한 수준 |
|---|---|
| 3년 전 여름 | 초등 수준 산술 |
| 2년 전 여름 | 고교 수학 경시 |
| 1년 전 여름 | 국제 수학 올림피아드 금메달급 |
| 최근 | Navier-Stokes 방정식 관련 밀레니엄 문제급 과제 |
민간 기업을 넘어선 국제 거버넌스
Altman은 민간 기술 기업이 민주적 절차를 대체하거나 세계 규범을 정해서는 안 된다고 못 박았습니다. 핵심 규제 선택을 샌프란시스코에 있는 소수 기술 연구소가 결정해서는 안 되며, 각국 정부가 시민에게 민주적으로 책임지는 포괄적 감독 구조를 만들어야 한다고 촉구했습니다.
국제적으로는 국가 간 공통 frontier AI 기준과 안전 benchmark를 세우는 체계를 제안했습니다. 모델의 원시 능력을 평가하고, 안전 여유를 검증하고, 인간 통제가 실제로 작동하는지 확인할 공통 지표가 필요하다는 것입니다. 예상치 못한 모델 실패가 재앙으로 번지기 전에 전 세계가 함께 연구할 수 있도록 신속 사고 보고 프로토콜도 제안했습니다. 정부와 핵심 인프라 담당 조직, 기술 전문가를 연결하는 보안 통신망을 만들어 새로 나타나는 사이버·물리적 위협을 감시하자고 했습니다.
규제가 기존 사업자의 이익을 굳히는 규제 포획으로 흐르지 않도록 해야 한다는 조건도 붙였습니다. 오픈소스 시스템과 독점 모델, 신생 스타트업이 공정하게 대우받아야 한다는 것입니다. 경쟁 관계에 있던 국가들이 변혁적 기술을 함께 관리한 역사적 선례도 상기시켰습니다.
핵심과 독자가 할 일
정리하면 Altman은 두 갈래 미래를 전제합니다. 한쪽은 권력 집중과 감시되지 않는 자율 시스템, 사회적 소외로 향합니다. 다른 쪽은 민주적 감독과 국제 안전 기준으로 AI가 개인을 강화하도록 만드는 길입니다. 그가 제시한 실행 항목은 공통 안전 기준, 신속 사고 보고 체계, 정부와 인프라·기술 전문가를 잇는 통신망, 규제 포획 방지, 그리고 정렬을 보장할 수 없을 때 확장을 멈추는 태도입니다. 그는 자신이 이끄는 기업을 포함한 어떤 기술 기업도 인류 운명의 유일한 해결자나 결정자가 되어서는 안 된다고 인정했고, 기술 커뮤니티가 안전한 거버넌스의 모든 답을 갖고 있지 않으며 더 넓은 국제적 의견을 환영한다고 밝혔습니다.
독자가 할 일은 명확합니다. 조직에서 고성능 모델을 도입하거나 활용한다면 모델의 능력 등급과 함께 안전 검증 절차가 정의돼 있는지, 이상 행동을 발견했을 때 신고할 경로가 마련돼 있는지 확인해야 합니다. 자체적으로 통제 가능한 범위를 문서로 남기고, 통제를 보장할 수 없다고 판단될 때 확장을 멈출 기준을 미리 정해 두는 것이 실질적인 출발점입니다. 규제 논의가 오픈소스와 신생 개발자에게 불리하게 굳어지지 않는지도 지켜볼 필요가 있습니다.