AI 기업이 고객의 기술적 요구를 수행할 수 있다는 사실만으로 계약을 받아야 하는 것은 아닙니다. 클라우드와 AI 기술을 제공하는 한 컨설팅 기업은 수익성이 큰 잠재 고객의 프로젝트를 검토하다가, 그 기술이 사람의 생사를 자동으로 판단하는 데 쓰일 수 있음을 확인하고 수주를 거절했습니다. 중요한 대목은 거절 자체뿐 아니라, 처음 제시된 기술 과제의 실제 사용처를 검토 후반에 파악하고 조직이 함께 결정을 내렸다는 점입니다.
기술 과제 뒤에 있던 사용처
이 기업은 고객의 클라우드 이전, 데이터 분석, AI 구현을 돕습니다. 개별 인력을 파견하기보다 고객이 달성할 결과를 정하고 전문 엔지니어 팀이 프로젝트를 수행하는 방식을 택합니다. 따라서 계약을 논의할 때도 고객이 요청한 기술뿐 아니라 그 기술로 해결하려는 문제를 살펴봅니다.
문제가 된 잠재 고객은 원격 조종 및 자율 장비에 쓰일 판단 체계의 설계를 요청했습니다. 기술 검토가 끝나갈 무렵, 그 요구의 핵심이 자동화된 군사 표적 판정이라는 점이 드러났습니다. 단순히 장비를 효율적으로 움직이는 문제가 아니라, 소프트웨어가 사람의 생사에 직접 영향을 주는 결정을 내리도록 만드는 일이었습니다.
▲ 기술 요구의 사용처 검토
이 차이는 수주 검토에서 중요합니다. 표면상 비슷한 판단 기술이라도 무엇을 판단하고 그 결과를 누가 감당하는지에 따라 업무의 의미가 달라질 수 있기 때문입니다. 이 사례에서 확인된 전환점은 특정 기술의 난도가 아니라, 그 기술이 최종적으로 맡게 될 결정의 성격이었습니다.
보수보다 앞에 놓인 팀의 판단
검토 후반에 잠재 고객은 높은 보수를 내세웠습니다. 그러나 이 회사의 경영진과 엔지니어 팀은 모두 이 일을 맡지 않기로 결정했습니다. 수익 가능성을 몰라서 포기한 것이 아니라, 사람의 생사를 자동으로 결정하는 기술을 만드는 일은 받아들일 수 없다고 판단한 것입니다.
이 회사의 창업자는 평소 다른 사람에게 해를 끼치지 않는 것을 자신의 윤리적 기준으로 설명합니다. 이번 결정에서는 그 기준이 개인적인 생각에 머물지 않았습니다. 실제 계약을 검토하는 구성원들이 같은 결론에 도달했고, 회사는 고객의 제안을 거절했습니다. 창업자가 회사의 문화를 보여주는 것은 받아들이는 계약뿐 아니라 포기하는 계약이라고 평가하는 이유도 여기에 있습니다.
▲ 수주를 거절한 결정
다만 이 사례만으로 이 회사에 성문화된 계약 심사표나 정해진 표결 절차가 있었다고 말할 수는 없습니다. 확인되는 것은 검토 과정에서 사용처가 분명해졌고, 경영진과 엔지니어 팀이 만장일치로 수주하지 않기로 했다는 사실입니다. 원칙이 실행으로 이어진 과정은 살펴볼 수 있지만, 이를 곧바로 다른 기업에 적용할 공통 절차로 일반화할 수는 없습니다.
한 건의 거절로 끝나지 않는 질문
창업자는 자신들이 거절해도 다른 기업이 같은 요구를 맡을 수 있다는 한계도 인정합니다. 그렇다고 개별 기업의 판단이 무의미해지는 것은 아닙니다. 이 사례는 한 회사가 자신이 책임질 기술과 계약의 범위를 어디에 그을지 결정한 일로 읽는 편이 정확합니다.
이 회사가 AI 활용 자체를 거부하는 것도 아닙니다. 같은 회사가 수행한 긴급 도로 지원 사례에서는 AI가 전화를 분류해 출동을 앞당기는 데 쓰였습니다. 두 사례를 함께 놓으면 쟁점은 ‘AI를 쓸 것인가’보다 ‘어떤 결정에 AI를 쓰고, 그 결과가 누구에게 미치는가’에 가깝습니다. 이는 한 회사의 서로 다른 프로젝트를 비교해 도출한 해석이지, 모든 기업에 적용되는 윤리 판정은 아닙니다.
수주 전에 확인할 세 가지
이 회사의 선택을 그대로 따라야 할 업계 기준으로 볼 필요는 없습니다. 다만 고객의 요청을 기술 명세만으로 판단하지 않으려는 조직이라면, 이 사례에서 다음 질문을 뽑아볼 수 있습니다.
- 고객이 요청한 기능은 실제로 어떤 일에 쓰이며, 시스템이 최종적으로 무엇을 결정합니까?
- 그 결정이 영향을 미치는 사람은 누구이며, 기술 검토 과정에서 아직 확인되지 않은 사용처는 없습니까?
- 수익성과 별개로 수주를 보류하거나 거절해야 할 때, 경영진과 기술팀은 어떻게 함께 판단합니까?
이는 이 회사의 공식 심사 항목이 아니라 이번 결정에서 도출한 점검 질문입니다. AI 윤리 원칙을 내세우는 기업이라면 먼저 계약 검토 단계에서 실제 사용처를 확인하고, 받아들이지 않을 일을 구성원들과 논의할 수 있는지 살펴볼 필요가 있습니다.