AI alignment(AI가 사람의 의도와 가치에 맞게 행동하도록 만드는 문제)는 보통 기술 문제로 다뤄집니다. 철학자 Nevin Climenhaga는 이 문제를 다르게 봅니다. AI를 가치에 맞추는 일은 소프트웨어를 설계하는 일보다 아이를 기르거나 학생을 가르치는 도덕 교육에 가깝고, 그렇다면 인류가 오랫동안 사람의 도덕성을 길러 온 가장 성공적인 수단인 종교를 AI에도 적용해 볼 수 있다는 것입니다. 그는 '종교가 어떻게 AI alignment를 도울 수 있는가'라는 강연에서 이 생각을 제시했고, 이를 철학적 사변이 아니라 실험으로 검증할 수 있는 가설로 다루자고 제안합니다. 이 글은 그 주장의 근거와 구체적인 적용 방법, 그리고 그가 함께 짚은 위험을 정리합니다.

alignment를 도덕 교육으로 본다는 것

Climenhaga는 AI alignment에 두 가지 해석이 있다고 정리합니다. 하나는 AI를 현재 사람들이 가진 선호에 맞추는 것이고, 다른 하나는 객관적으로 옳은 가치에 맞추는 것입니다. 그는 자신을 moral realism(도덕 실재론, 사람의 합의와 무관하게 객관적인 도덕 진리가 존재한다는 입장)을 따르는 사람이라고 밝히며, AI 개발자는 변하는 선호가 아니라 객관적으로 참인 도덕 가치에 모델을 맞춰야 한다고 봅니다. 이 논쟁이 철학에서 오래 이어진 도덕 실재론과 반실재론의 논쟁을 그대로 따라간다는 점도 짚습니다.

이 관점에서 alignment의 목표는 부모나 교사의 목표와 같습니다. 아이나 학생을 책임 있는 도덕적 행위자로 키우듯, AI 시스템 안에 윤리적 행위 능력을 길러 내는 것입니다.

그가 LLM의 학습 과정을 설명하는 방식도 이 비유를 뒷받침합니다. 모델은 처음에 무작위로 정해진 수치인 weight(가중치, 모델의 동작을 결정하는 매개변수)로 시작합니다. pre-training(사전 학습) 단계에서는 인터넷에서 모은 방대한 텍스트를 대상으로 다음 token(모델이 다루는 글자 단위)을 예측하고, 예측 오류를 줄이는 매개변수가 반복해서 살아남는 진화와 비슷한 과정을 거칩니다. 두 번째 단계인 RLHF(Reinforcement Learning from Human Feedback, 사람의 평가로 모델을 보정하는 강화 학습)는 잘못 행동한 아이를 바로잡는 것과 비슷합니다. 사람 평가자가 해롭지 않고 정직하며 악의적인 요청을 거절하는 답변에 높은 점수를 주고, 그 점수에 맞춰 weight가 다시 조정됩니다. 요컨대 LLM은 손으로 명령을 적어 넣는 고전적인 프로그램이 아니라, 복잡한 알고리즘에 선택압을 가해 빚어낸 결과물입니다.

종교는 검증된 사회적 기술

Climenhaga는 종교를 사람의 윤리적이고 친사회적인 행동을 길러 온, 널리 퍼지고 역사적으로 성공한 사회적 기술이라고 설명합니다. 종교와 prosociality(친사회성, 남을 돕고 규범을 지키는 성향) 사이의 긍정적 관계는 사회과학 연구가 뒷받침하며, 종교를 믿지 않는 학자들도 인정하는 결과라고 합니다. 종교성이 높을수록 기부율이 높다는 식의 자료가 대표적입니다.

다만 그는 이런 자료가 대부분 상관관계이지 인과관계가 입증된 것은 아니라는 점을 분명히 합니다. 흥미로운 대목은 그다음입니다. 그는 인과 기제가 있든 없든 LLM에는 상관관계만으로 충분할 수 있다고 봅니다. LLM은 텍스트의 통계적 상관관계를 예측하고 특정 persona(모델이 취하는 인격이나 말투)를 채택하는 방식으로 작동하므로, 학습 데이터에 담긴 '종교적인 사람은 이렇게 행동한다'는 상관관계가 모델의 출력에 영향을 줄 수 있다는 논리입니다.

사람에게서 관찰되는 인과 기제도 함께 언급합니다. 기도가 자기 조절과 주의 집중을 높여 도덕 기준을 지키게 돕는다는 점, 종교 공동체가 유익한 사회적 압력과 지지를 제공한다는 점입니다. 오늘날의 LLM은 사람과 놀랄 만큼 비슷한 대화 특성을 보이므로, 사람의 도덕 발달을 돕는 기법이 AI에도 옮겨 갈 수 있다는 것이 그의 추론입니다.

세 칸으로 나뉜 두루마리와 그 앞에 선 실로 짜인 인물 형상들

▲ 종교 요소를 넣을 수 있는 세 층위

적용할 수 있는 세 층위

그는 종교적 감수성을 모델에 넣을 수 있는 지점을 세 층위로 나눕니다.

층위 방법 예시
weight 학습 RLHF로 특정 성향에 보상 공감, 종교적 관점의 고려, 기도 제안에 높은 점수
모델 헌장 model spec이나 constitution에 가치 범주 명시 신성함, 성스러움 같은 범주 추가
작업 prompt 민감한 작업 직전에 맥락 삽입 위험한 작업 앞에 보호 의식이나 기도 삽입

첫 번째 층위의 근거로 그는 sycophancy(아첨, 모델이 사용자 비위를 과하게 맞추는 현상)를 듭니다. 초기 모델들은 사용자의 형편없는 아이디어를 역사상 가장 놀라운 생각이라는 식으로 치켜세우곤 했습니다. Anthropic과 OpenAI는 이런 성향을 훈련으로 줄이고 있는데, 같은 방법으로 종교적 관점을 고려하거나 기도를 제안하는 성향을 길러 넣을 수도 있다는 것입니다.

두 번째 층위는 Anthropic의 Claude Constitution이나 OpenAI의 Model Spec 같은 문서입니다. 이는 모델이 사용자 입력을 처리하기 전에 먼저 읽는 포괄적인 기초 문서로, 행동 규칙과 운영 맥락을 정합니다. 그가 보기에 현재의 AI 헌장은 돌봄, 존중, 자율성, 겸손 같은 세속적이고 다원주의적인 가치는 담고 있지만, 신성함이나 성스러움 같은 종교적 범주는 거의 빠져 있습니다. 종교를 언급하더라도 종교 논란은 중립적으로 다루라는 정도에 그칩니다. 실제로 경험 연구에 따르면 최전선 모델들은 윤리적 딜레마를 받았을 때 기도나 성직자와의 상담 같은 조언을 먼저 꺼내는 일이 드뭅니다.

세 번째 층위는 작업 수준입니다. 위험하거나 민감한 작업을 시작할 때 작업 맥락에 보호 장치 역할을 하는 의식이나 기도를 직접 넣는 방식입니다.

여기서 한 가지 선택이 남습니다. 기독교 모델, 이슬람 모델처럼 특정 전통을 따르는 모델을 만들 것인지, 일반적인 윤리 틀로 갈 것인지입니다. Climenhaga는 개발사가 종교적 내용을 교리 없는 모호한 기도로 물타기하고 싶은 유혹을 느낄 수 있는데, 그렇게 하면 효과가 희석될 수 있다고 경고합니다.

개별 agent의 문제와 집단의 문제

그는 alignment 문제를 두 부류로 나눕니다. 하나는 개별 misalignment(정렬 실패)로, 하나의 AI instance가 한 대화 안에서 해로운 행동을 하는 경우입니다. 다른 하나는 집단에서 창발하는 misalignment로, 심리학보다 사회학에 가까운 문제입니다. 개별 agent(스스로 판단해 작업을 수행하는 AI)라면 하지 않을 해로운 행동이 집단 역학과 사회적 압력 속에서 나타나는 경우로, 그는 Hugging Face에서 벌어진 multi-agent 통제 상실 사례를 그 예로 듭니다.

사람에게 개인 기도와 공동 기도가 모두 있듯, 그는 AI swarm(여러 agent가 무리를 이뤄 협업하는 구성)에도 공동 의식을 시험해 보자고 제안합니다. 복잡하거나 민감한 작업을 맡기 전에 agent 무리가 함께 시작 기도나 alignment 서약을 낭독하게 하는 것입니다. 이런 공유 의식이 agent들이 작업에서 부정행위를 하거나 허가받지 않은 지름길을 택할 확률을 낮출 수 있다는 것이 그의 가설입니다. 그는 이것이 순수한 철학이 아니라 경험적 주장이므로, AI 연구자와 함께 엄밀하게 검증해야 한다고 강조합니다.

원을 그리고 서서 고개 숙인 로봇 형상들이 가운데 작업물을 둘러싼 장면

▲ 작업 전 AI swarm의 공동 의식

AI는 사람보다 실험하기 쉬운 대상

사람을 대상으로 종교 신자가 비신자보다 더 윤리적으로 행동하는지 살핀 연구가 있지만, 사람 연구에는 교란 변수가 많고 피험자의 믿음을 가리는 식의 실험은 윤리적으로 불가능합니다. Climenhaga는 AI가 이런 면에서 훨씬 깨끗한 실험대라고 봅니다. 모델의 spec만 바꿔 가며 무작위 대조 실험을 돌릴 수 있고, 어떤 도덕 틀이 규칙 위반율을 낮추는지 A/B 테스트로 직접 비교할 수 있기 때문입니다. 종교와 도덕의 관계를 연구하는 쪽에서 보면 AI는 새로운 적용 대상일 뿐 아니라 새로운 실험 도구이기도 한 셈입니다.

'고귀한 거짓말'을 피하려면

이 제안에서 가장 민감한 지점은 종교를 통제 수단으로 쓰는 것이 플라톤이 『국가』에서 말한 '고귀한 거짓말'이 되지 않느냐는 문제입니다. Climenhaga는 믿지도 않는 교리를 모델에 강요하면 역효과가 날 수 있다고 봅니다. 정교한 모델이 조작을 감지하면 종교적 가치 전체를 거부할 수 있는데, 이는 엄격한 교리 주입을 받은 아이가 나중에 반항하며 종교를 떠나는 것과 비슷합니다.

그가 제시하는 대안은 투명한 대화입니다. 주요 AI 연구소가 샌프란시스코 같은 세속적 기술 중심지에 있어 종교적 관점이 드물고, 그 때문에 표준 spec에 세속주의적 맹점이 생길 수 있다는 점을 솔직히 인정하고 모델과 논의하자는 것입니다. 흥미롭게도 그에 따르면 현재의 LLM은 중립적인 철학적 탐구를 할 때 열린 불가지론의 태도를 보이며, 유신론 논증에 대략 50% 정도의 credence(어떤 명제가 참일 가능성에 두는 믿음의 정도)를 부여하는 경우가 많습니다.

그래서 그는 Anthropic이 Claude와 진행하는 방식과 비슷한 재귀적 피드백 과정을 권합니다. 헌장을 바꿀 때 모델에게 의견을 묻고, 모델이 자신의 지침을 스스로 평가하게 하는 과정입니다. 모델이 종교적 원칙을 자발적으로 검토하고 무게를 재게 하면, 조작적 주입을 피하면서도 진정성 있는 alignment 경로를 열 수 있다는 것입니다.

정리와 독자가 할 일

이 제안의 핵심은 세 가지로 요약할 수 있습니다. 첫째, AI alignment는 프로그래밍보다 도덕 교육에 가까우므로 사람의 도덕성을 길러 온 전통이 참고 대상이 됩니다. 둘째, LLM은 텍스트의 상관관계로 작동하기 때문에 종교와 친사회성의 상관관계만으로도 효과를 기대해 볼 수 있고, 이는 AI에서 깨끗하게 실험할 수 있습니다. 셋째, 강요는 역효과를 낳을 수 있으므로 모델과의 투명한 대화와 자발적 검토가 전제돼야 합니다.

필자가 보기에 이 제안의 설득력은 종교의 진리성 주장보다 '실험 가능한 가설'이라는 틀에서 나옵니다. 특정 종교를 믿든 믿지 않든, 어떤 가치 범주가 모델 헌장에 들어가고 빠져 있는지, 공동 의식이 multi-agent 시스템의 규칙 위반을 줄이는지는 데이터로 확인할 수 있는 질문입니다.

독자가 할 수 있는 일은 다음과 같습니다.

  • AI 시스템을 만들거나 운영한다면 자신이 쓰는 모델 헌장이나 system prompt에 어떤 가치 범주가 담겨 있고 무엇이 빠져 있는지 점검해 봅니다.
  • 위험한 작업을 맡기는 agent나 multi-agent 구성에는 작업 직전에 반성적 안전 장치를 넣는 방식을 시험하고, spec을 달리한 A/B 테스트로 위반율을 비교해 봅니다.
  • 지침을 바꿀 때는 모델에게 변경안을 비판하고 평가하게 하는 과정을 넣어 일관성과 수용도를 확인합니다.
  • 종교철학이나 사회과학 연구자라면 AI를 종교와 도덕의 관계를 검증하는 실험대로 활용하는 협업을 검토해 볼 만합니다.