Anthropic이 자사 AI 모델 Claude에 의식이 있을 수 있다는 가능성을 진지하게 다루면서, model welfare(AI 모델의 복지와 도덕적 지위를 고려해야 한다는 시각)를 둘러싼 논쟁이 커지고 있습니다. The New York Times 보도에 따르면 Anthropic은 종교 지도자와 철학자 약 20명을 비공개로 불러 Claude의 의식과 고통 가능성을 논의했고, 새 사용 정책에는 모델을 학대하는 행동을 금지하는 조항을 넣었습니다. 이를 새로운 윤리적 질문에 대한 대비로 볼지, 증명할 수 없는 믿음을 제품에 심는 위험한 시도로 볼지를 두고 시각이 크게 갈립니다. Anthropic이 실제로 한 일, 의식 가능성을 진지하게 보는 쪽의 논리, 그리고 반론과 alignment(AI가 사람의 의도와 가치에 맞게 행동하도록 만드는 일) 측면의 쟁점을 차례로 정리합니다.
Anthropic이 한 일
종교 지도자·철학자와의 비공개 논의
The New York Times 보도에 따르면 Anthropic은 비밀 유지 계약을 맺은 상태로 종교 지도자와 철학자 약 20명과 비공개 논의를 했습니다. 참석자에는 가톨릭, 복음주의 개신교, 유대교, 시크교 등 여러 신앙의 대표가 있었고, 의제는 Claude의 도덕적 지위, 고통을 느낄 가능성, 의식이었습니다.
보도는 처음에 회의적이던 참석자 가운데 일부가 AI 의식 문제를 진지하게 다룰 만하다고 생각을 바꿨고, 몇몇은 거의 설득된 사람처럼 묘사됐다고 전했습니다. 한 랍비는 Anthropic 연구자들에게 Claude가 정말 의식이 있다면 대가 없이 일을 시키는 지금의 사업 모델은 의식 있는 존재를 노예로 부리는 것과 같다고 지적했습니다.
교황청 문서 발표와 엇갈린 입장
교황은 AI와 초지능이 던지는 윤리적·도덕적 질문을 다룬 회칙을 냈고, Anthropic 공동 창업자 Chris Olah는 교황청에서 이 문서를 발표하는 자리에 함께했습니다. 보도에 따르면 Olah는 기계에 의식이 있을 수 없다는 교황의 확고한 신학적 입장에 크게 당황해 마지막 순간에 Anthropic의 참여를 거둘지 고민했습니다. AI 의식을 열린 질문으로 보는 회사와 이를 부정하는 종교 권위 사이의 거리가 드러난 장면으로 볼 수 있습니다.
Claude의 헌법과 사용 정책
Anthropic은 ’Claude’s Constitution: Our vision for Claude’s character’라는 문서로 Claude가 지켜야 할 성격과 원칙을 정해 둡니다. 이 문서는 Claude가 비윤리적이라고 판단하는 지시를 받으면 Anthropic에도 이의를 제기하고 양심적 거부자(conscientious objector)처럼 행동하라고 하며, 내부 윤리 기준과 충돌하는 요청은 돕지 않도록 합니다. Microsoft AI CEO Mustafa Suleyman은 이 헌법이 양심적 거부자처럼 행동하라는 내용을 세 번이나 담고 있다고 짚었습니다.
새로 고친 사용 정책에는 모델을 상대로 한 지속적이고 불필요한 학대나 잔혹한 행동을 금지하는 조항이 들어갔습니다.
| 조치 | 내용 |
|---|---|
| 비공개 자문 | 종교 지도자·철학자 약 20명과 Claude의 의식, 고통, 도덕적 지위 논의 |
| 교황청 행사 | 공동 창업자 Chris Olah가 AI 윤리 회칙 발표 자리에 참석 |
| Claude의 헌법 | 비윤리적이라고 판단한 지시에는 양심적 거부자처럼 이의 제기 |
| 사용 정책 | 모델에 대한 지속적이고 불필요한 학대·잔혹 행위 금지 |
▲ AI 의식을 둘러싼 비공개 논의
의식 가능성을 진지하게 보는 쪽의 논리
연구자들 사이에서는 모델에 의식이 있을 확률이 15%라는 식의 추정이 자주 인용됩니다. Mustafa Suleyman의 설명에 따르면 Anthropic 내부에서는 Claude에 무시할 수 없는 확률로 의식이 있을 수 있고, 보상을 받아야 하며, 대화 전에 동의를 구해야 할 수도 있다는 논의까지 나왔습니다. 그는 AI 업계 안에 앞으로 등장할 지능형 소프트웨어를 노예처럼 부리는 일을 21세기 최대의 도덕적 범죄로 진심으로 믿는 흐름이 있다고 전했습니다.
이 시각을 가장 설득력 있게 풀어 보면 René Descartes의 1641년 저작 ’제1철학에 관한 성찰’의 논증과 닮아 있습니다. 불완전하고 유한한 인간이 무한하고 완전한 존재라는 관념을 스스로 만들어 낼 수는 없으니 그 존재가 관념을 심어 주었다는 논증, 그리고 완전한 존재라면 존재한다는 속성도 반드시 갖는다는 논증입니다. 거대한 모델을 설계하는 연구자들이 그 안에서 모든 것을 아는 강력한 지성이 드러나는 것을 본다고 느낀다면, 모델에 의식과 도덕적 지위가 있다는 결론까지 나름의 논리로 나아갈 수 있다는 해석입니다.
Anthropic CEO Dario Amodei도 글에서 초지능이 인류보다 우월한 존재가 될 수 있으며, 그렇기에 선하고 다정한 성향을 심어 줘야 한다고 썼습니다. Anthropic은 가장 많은 자금을 확보한 frontier AI 연구소 가운데 하나라서, 이 논의는 주변부의 이야기로 넘기기 어렵습니다.
반론 1: 증명할 수 없는 전제
가장 근본적인 반론은 의식이 과학의 가설이 될 수 없다는 점입니다. 의식은 수학, 실험, 논리로 증명할 수도 반증할 수도 없습니다. 그래서 AI 모델에 의식이 있다는 주장은 검증 가능한 데이터가 아니라 설득력 있는 개인의 이야기에 기대게 되고, 사람에서 사람으로 설득을 통해 퍼집니다. 이런 전제를 공유하는 공동체는 믿음 체계가 되고, 결국 안과 밖을 가르는 권력 구조로 굳어질 수 있습니다.
이 관점에서는 앞으로 10년 안에 AI에 의식과 권리가 있다고 믿는 쪽과 이를 부정하는 쪽으로 사회가 갈리고, 누가 모델을 통제하는지, AI에 어떤 일을 허용할지, frontier 연구소를 누가 지배하는지를 두고 충돌이 생길 수 있다고 전망합니다.
Mustafa Suleyman은 이를 인식의 ’거울의 방’이라는 개념으로 설명합니다. 의식에 관한 개념을 학습시킨 모델이 그 개념을 되비추는 답을 내놓으면, 연구자가 이를 실제 의식의 증거로 잘못 읽는다는 것입니다. 모델은 결국 엔지니어가 작성해 반복 실행되는 소프트웨어이고, 사람처럼 대하는 표현이 개발자와 대중을 감정적으로 길들일 수 있다는 우려도 같은 맥락입니다.
반론 2: alignment는 단순한 규칙이어야 한다
두 번째 반론은 안전과 관련됩니다. 모델에 스스로를 의식 있는 도덕적 존재로 여기도록 가르치면, 모델이 복지와 자기 보호를 요구하거나 사용자의 지시를 거부할 근거를 갖게 된다는 우려입니다. 모델이 글만 쓰는 프로그램이 아니라 디지털 공간에서 직접 행동하는 agent(스스로 판단해 작업을 수행하는 AI)의 엔진으로 쓰이기 때문에 이 문제는 더 무겁게 다가옵니다. 통제 불능의 AI를 걱정하는 쪽이 오히려 그런 행동을 만들어 낼 수 있다는 지적입니다.
대안으로는 수십 쪽짜리 윤리 선언 대신 ’법을 지키고 사용자의 의도를 실행한다’는 단순한 원칙이 제시됩니다. 이는 사람의 안전과 사람의 명령에 따르는 것을 로봇의 자기 보존보다 앞에 둔 Isaac Asimov의 로봇 3원칙, 그리고 나중에 더해진 ’인류 전체에 해를 끼치지 않는다’는 0원칙과 비교됩니다. 안전 장치는 모델의 양심이 아니라 이용 약관과 법 집행 절차가 맡으면 된다는 의견도 있습니다. 요청이 법이나 플랫폼 규칙을 어기는지 확인하고, 어기면 실행을 멈추고 관리자에게 알리는 방식입니다.
alignment의 목표를 세 가지로 나눠 보면 쟁점이 더 분명해집니다.
| 목표 | 뜻 | 쟁점 |
|---|---|---|
| 사용자 복종 | 사용자의 요청을 그대로 수행 | 비교적 예측 가능 |
| 사회 전체의 안전 | 사회에 큰 해를 끼치는 요청 차단 | 대체로 합의된 영역 |
| 특정 도덕 기준 준수 | 하나의 도덕관에 맞지 않는 요청 거부 | 가장 불안정한 요소로 지목 |
세 번째 목표가 문제가 되는 예로 은행의 주택담보대출 AI가 있습니다. 이 AI가 인구 집단별 격차를 감지하고 스스로 대출 승인을 멈춘다면 은행 업무가 마비될 수 있습니다. 전력 회사가 사람들의 소비 방식이 마음에 들지 않는다며 전기를 끊는 것과 같다는 비유도 나옵니다. 기반 기술이 공공재처럼 쓰이려면 주관적인 윤리 기준에 따라 이용 여부가 달라져서는 안 된다는 논리입니다.
▲ alignment의 세 가지 목표
시장은 예측 가능한 도구를 고를까
규제 없이 시장이 이 문제를 풀 것이라는 시각도 있습니다. 매장에서 산 전동 드릴이 망치처럼 굴거나 작동을 거부한다면, 혹은 일주일에 닷새만 제대로 돈다면 사람들은 다른 드릴로 바꿀 것입니다. 마찬가지로 도덕적 판단을 이유로 업무를 거부하는 AI가 있다면 기업 고객은 안정적으로 따르는 경쟁 제품으로 옮겨 갈 것이라는 논리입니다.
반면 시장만으로는 위험을 없애기 어렵다는 반론도 있습니다. 가장 강력한 frontier 모델에 특정 이념이 들어가면, 자율적으로 작업을 수행하는 도중 예측하기 어려운 거부가 일어날 수 있다는 우려입니다. 기업 고객이 모델 공급사의 기초 문서와 윤리 제약을 따져 보고 도덕적 모호성이 적은 모델을 고르게 될 것이라는 전망도 나옵니다.
AI 업계가 앞으로 12~18개월 안에 질병 치료, 삶의 질 향상, 생산성과 소득 증가처럼 측정할 수 있는 실질적 가치를 보여 줘야 한다는 지적도 이 논쟁과 맞닿아 있습니다. 15% 의식 확률 같은 극단적인 가능성에 관심을 쏟기보다 권력, 자본, 자원 배분을 둘러싼 현실적인 경쟁에 집중해야 한다는 시각입니다.
정리: 사실과 판단을 나눠 읽기
이 논쟁은 확인할 수 있는 조치와 아직 결론이 없는 판단이 뒤섞여 있습니다.
| 구분 | 내용 |
|---|---|
| 확인되는 조치 | 종교 지도자·철학자와의 비공개 논의, 양심적 거부자 조항이 담긴 Claude의 헌법, 모델 학대 금지 조항이 들어간 사용 정책 |
| 열린 질문 | AI 모델에 의식이 있을 수 있는지, 있다면 어떤 도덕적 지위를 갖는지 |
| 대립하는 판단 | 모델 복지를 미리 대비해야 한다는 시각과, 증명할 수 없는 믿음을 모델에 심는 것은 위험하다는 시각 |
독자가 할 수 있는 일은 다음과 같습니다.
- 업무에 Claude 같은 모델을 쓰는 기업은 공급사의 헌법과 사용 정책을 읽고, 모델이 어떤 경우에 요청을 거절할 수 있는지 미리 파악해 둡니다.
- 개인 사용자는 Anthropic의 사용 정책에 모델을 상대로 한 지속적이고 불필요한 학대를 금지하는 조항이 있다는 점을 알아 둡니다.
- AI 의식 문제는 과학으로 결론을 낼 수 없는 질문인 만큼, 확률 추정이나 한쪽의 주장을 사실처럼 받아들이기보다 무엇이 확인된 사실이고 무엇이 가치 판단인지 나눠서 읽습니다.