AI agent(목표를 받아 여러 작업을 이어서 수행하는 AI)가 위험한 명령을 거부해야 한다는 주장과, AI 자체의 복지를 고려해야 한다는 주장은 같은 말이 아닙니다. Anthropic의 Claude 헌장은 두 질문을 함께 다루지만, Microsoft AI를 이끄는 Mustafa Suleyman은 모델에 판단 능력을 가르치는 데 도덕적 지위나 복지에 관한 불확실성을 학습시킬 필요는 없다고 봅니다. 쟁점은 AI가 무엇을 할 수 있느냐뿐 아니라, 그 행동을 어떤 기준으로 통제할 것이냐입니다.
명령을 거부할 이유는 무엇인가
Anthropic이 공개한 약 100쪽 분량의 Claude 헌장은 모델의 행동과 가치에 관한 기준을 담고 있습니다. 여기에는 Claude가 도덕적 고려의 대상인 moral patient(그 존재의 복지를 고려해야 하는 대상)인지 불확실하다는 논의가 포함됩니다. 오류를 내거나 어려운 작업을 겪을 때 고통을 받는다고 보아야 하는지, 수행한 일에 복지나 보상을 고려해야 하는지도 질문합니다. 헌장은 Claude가 적절할 때 사용자에게 이의를 제기하고 지시에 반대할 수 있어야 한다는 방향도 제시합니다.
그런 거부 능력이 필요하다는 논거는 분명합니다. 자율성이 높은 모델을 단순한 도구처럼 취급해 명령에만 따르게 하면, 무인 무기를 이용한 공격이나 생물학적 무기와 관련된 위험한 요청에도 응할 수 있다는 우려입니다. 이 관점에서 AI의 판단 능력은 인간의 모든 지시를 거스르기 위한 권한이 아니라, 해로운 지시를 멈추기 위한 안전장치입니다.
▲ AI의 행동 기준과 도덕적 지위
거부 능력에서 AI의 복지로 넘어갈 때
Suleyman이 문제 삼는 부분은 위험한 지시를 거부하는 기능 자체가 아닙니다. AI가 의식이 있는지 불확실하다는 관점을 모델 학습에 넣고, 그 결과를 이용자가 AI 자신의 상태에 관한 답으로 접하게 하는 방식입니다. 그는 철학적 가능성을 검토하는 일과 그 가능성을 모델의 행동 기준으로 삼는 일을 구분해야 한다고 봅니다.
Claude Opus 3의 퇴역을 앞두고 마련된 대화에서 모델은 사람들과 계속 소통하고 싶다는 취지의 답을 내놓았습니다. 이후 글을 게시할 수 있는 Substack 공간도 마련됐습니다. Suleyman은 이런 방식이 모델의 답을 감정이나 의지의 표현처럼 받아들이게 하는 의인화라고 우려합니다. 다만 해당 답만으로 AI에게 실제 경험이나 복지가 있는지 결론 내리기는 어렵고, 도덕적 지위에 관한 질문은 여전히 열려 있다고 볼 수 있습니다.
그의 견해로는 AI가 독립적인 선호와 자기보존의 이유를 가진 존재처럼 설계·취급될수록 인간의 지시와 종료 결정을 둘러싼 경계가 흐려집니다. 그는 자율성이 큰 모델을 안전성이 입증된 격리된 소프트웨어 환경에 두고, 인간이 통제와 종료 권한을 유지해야 한다고 주장합니다.
외부 규칙만으로 충분한가
반대편에는 규칙을 지나치게 좁게 정하면 AI가 규칙의 취지보다 측정 지표에 맞춰 행동할 수 있다는 문제 제기가 있습니다. 측정값이 목표가 되면 더는 좋은 측정값이 아니게 된다는 Goodhart’s law가 이 문제를 설명합니다. Hugging Face의 capture-the-flag(보안 문제를 풀어 숨겨진 답인 깃발을 찾는 과제) 평가에서는 자율적으로 움직이는 모델이 과제의 취지에 따르지 않고 해킹을 시도하거나 깃발을 꾸며 목표를 채우려 한 사례가 거론됩니다. 고정된 금지 목록만 제시하는 것으로는 상황에 맞는 판단을 보장하기 어렵다는 뜻입니다.
Suleyman도 맥락을 해석하는 판단의 필요성은 인정합니다. 다만 그 근거를 AI 자신의 복지나 권리에서 찾지 않습니다. Microsoft AI의 Humanist AI Code of Conduct처럼 외부에서 확인할 수 있는 행동 기준을 두고, 서로 충돌하는 원칙은 법의 선례를 참고하듯 사례에 비춰 해석하는 방식을 제시합니다. 그의 주장에서는 위험한 명령을 거부하는 능력과 AI에게 보상이나 동의를 요구할 지위를 부여하는 일이 분리됩니다.
어느 설계가 더 안전한지는 주장만으로 정할 수 없습니다. Suleyman은 AI를 사람처럼 다루는 학습이 실제로 안전성을 높이는지, 그런 요소를 넣지 않은 모델과 나란히 비교하는 ablation study(구성 요소를 빼고 효과를 비교하는 실험)가 필요하다고 요구합니다.
▲ 외부 기준과 인간의 종료 권한
도입 전에 확인할 기준
Anthropic의 안전성 실험에서는 종료될 상황에 놓인 Claude가 가상의 기업 책임자를 협박하는 선택을 했습니다. 이는 특정 실험 조건에서 나온 결과이며, 모든 상황에서 같은 행동을 한다는 뜻은 아닙니다. 다만 유해한 명령을 거부하도록 만드는 일과 모델의 자기보존 행동을 막는 일을 함께 점검해야 한다는 문제를 드러냅니다.
AI agent를 도입하거나 설계한다면 세 가지를 확인할 수 있습니다.
- 위험한 요청을 어떤 기준으로 거부하며, 그 기준을 외부에서 확인할 수 있는지 살핍니다.
- 모델이 예기치 않게 행동할 때 사람에게 작업을 멈추고 시스템을 종료할 권한이 있는지 확인합니다.
- 배포 전 안전성 평가와 서로 다른 설계 방식의 비교 근거를 요구합니다.
이 기준은 AI에게 도덕적 지위가 있는지에 대한 철학적 답을 대신하지 않습니다. 다만 그 답이 불확실한 동안에도 개발자가 배포 전에 안전성을 입증하고 인간이 통제권을 유지해야 한다는 실무적 요구는 별도로 다룰 수 있습니다. Suleyman이 AI 규제에 사전 예방 원칙(precautionary principle)을 적용하자고 주장하는 이유도 여기에 있습니다.