AI 도구를 전 직원에게 나눠 주고도 성과가 나지 않는 기업이 있습니다. 현장에서 기업의 AI 전환을 맡아 온 실무자들은 그 원인을 모델의 성능에서 찾지 않습니다. 일을 실제로 굴리는 절차와 판단 기준이 문서가 아니라 사람 머릿속에 있다는 점, 그리고 구성원이 새 방식을 받아들이게 하는 change management(변화 관리)가 빠져 있다는 점을 꼽습니다. 이 글은 그 지식을 꺼내는 방법, 성과를 재는 기준, 직원이 스스로 쓰고 싶게 만드는 도입 방식을 차례로 정리합니다.

도구만 건네면 실패하는 이유

여러 산업의 고객사에서 전환 프로젝트 여섯 건을 수행한 한 엔지니어링 회사의 엔지니어는, 전환이 실패하는 원인 대부분이 모델의 한계가 아니라 변화 관리에 있다고 말합니다. 잘 만든 AI 도구를 잘 차려서 건네더라도 조직의 역학과 사용자의 행동을 살피지 않으면 흔히 실패한다는 것입니다.

소프트웨어를 다시 짜는 일과 비교하면 차이가 분명해집니다. 코드에는 단위 테스트와 통합 테스트가 있어서 무엇이 올바른 동작인지가 명확하게 정해져 있습니다. 사람의 업무 절차에는 그런 테스트가 없고, 글로 적히지 않은 지식인 암묵지가 가득합니다.

그는 분야 전문가가 일할 때 실제로 쓰는 고려 사항과 경험칙 가운데 말로 설명하는 것은 절반 정도라고 봅니다. 전문가 본인도 자신이 어떤 기준으로 판단하는지 모르는 경우가 많아서, 정해진 문항으로 면담해 만든 업무 지도는 불완전해집니다. 이 상태에서 도구만 보급하면 AI는 절반짜리 설명서로 일하게 되는 셈입니다.

머릿속 지식을 꺼내는 순서

출발점은 관찰입니다. 소비자용 소프트웨어를 만들 때 하는 사용자 조사나 사용성 테스트와 비슷합니다. 직원 옆에 앉아 직원이 직접 업무를 진행하게 하고, 어떤 행동을 하고 어디에서 판단하는지 실시간으로 지켜봅니다. 예상과 다른 행동이 나오면 그 자리에서 묻습니다. 왜 이 문서는 건너뛰었는지, 왜 이 규칙은 적용하지 않았는지 묻는 식입니다. 직원은 대개 합리적인 이유를 댑니다. 다만 그 이유는 업무 지침에 적어 둘 생각조차 하지 못했던 내용입니다.

관찰 다음에는 AI를 단계적으로 배치합니다.

  1. shadow mode(AI가 실제 업무에 개입하지 않고 지켜보며 기록만 하는 방식)로 시작합니다.
  2. AI가 업무를 미리 처리해 제안을 만들고, 사람이 검토해 명시적으로 승인합니다.
  3. 사람이 고친 내용을 모든 상호작용마다 기록해 모델의 동작을 계속 다듬습니다.

사람이 일일이 관찰하는 방식에만 기대지 않고, 지식을 끌어내는 도구 자체를 자동화하는 것이 이 회사가 지향하는 다음 단계입니다. 운영 점검도 같은 방향입니다. 미리 정해 둔 신호만 보여 주는 대시보드 대신 AI agent(스스로 여러 단계를 수행하는 AI)가 작업 기록 전체를 계속 읽게 하면, 엔지니어가 찾아볼 생각을 하지 못한 이상 징후와 오류까지 잡아낼 수 있습니다.

AI가 지켜보는 단계에서 사람이 승인하는 단계로 이어지는 업무 책상

▲ 사람 승인을 거치는 단계 배치

빨라지는 것보다 다시 설계하는 것

Anthropic에서 모델 학습과 출시를 담당하는 한 연구 제품 관리자는 기업에 들어가면 먼저 핵심 업무와 병목을 진단한다고 설명합니다. 이때 보는 것은 기존 절차를 조금 빠르게 만들 곳이 아니라 절차를 통째로 다시 설계할 수 있는 곳입니다. 그는 기업의 야망이 작아지는 이유를, 일을 처음부터 끝까지 agent에게 맡기지 않고 기존 절차에 AI를 끼워 넣으려 하는 데서 찾습니다.

근거로 든 사례는 다음과 같습니다.

  • Claude Code를 구동하는 JavaScript 실행 환경 Bun은 100만 줄 규모의 코드 전체를 AI로 약 1주 만에 Rust로 다시 썼습니다. 검증과 테스트에 몇 주가 더 들었지만, 예전이라면 큰 팀이 1년 넘게 매달렸을 일입니다.
  • Anthropic의 자체 API도 Rust 경험이 없던 엔지니어들이 Rust로 다시 썼고, 성능이 오르고 지연 시간이 줄었습니다.
  • Linux kernel에서는 AI가 취약점을 다수 찾아냈고 빠르게 패치로 이어졌습니다.
  • Shopify는 회사 전체의 일하는 방식을 AI에 맞춰 다시 짰습니다. 제품 관리자가 기능을 직접 만들고, 엔지니어는 훨씬 큰 영향력을 냅니다.

운영 중인 시스템은 통째로 다시 쓰지 말라는 것이 소프트웨어 업계의 오랜 통념이었는데, 이 사례들은 그 통념이 더는 유효하지 않다는 주장을 뒷받침합니다. 그래서 두 실무자 모두 고객이 처음 들고 온 계획을 그대로 받지 않고, 더 큰 목표를 잡도록 되묻는 일이 필요하다고 강조합니다.

성과는 무엇으로 재야 하나

AI 도입에는 완료 시점이 없다는 것이 Anthropic 쪽의 관점입니다. 모델이 계속 좋아지므로 경쟁하는 조직은 계속 다시 설계합니다. 대신 성숙한 팀에는 공통점이 있습니다.

  • eval(모델 결과를 체계적으로 측정하는 평가 체계)을 갖추고, 일부러 만점이 나오지 않는 난도로 유지해 새 모델이 나올 때마다 향상 폭을 잽니다.
  • 사람이 prompt(모델에 주는 지시문)를 일일이 손보는 단계에서 벗어나, 전문가의 지식을 context(모델에 함께 넣어 주는 배경 정보)와 참고 문서로 옮겨 둡니다.
  • 작업 한 건당 비용을 그 작업이 내는 가치와 견줍니다. 소프트웨어에서는 pull request(코드 변경 요청) 검토 한 건당 비용과 검토 품질, 이후 버그와 취약점 감소를 함께 봅니다.
  • agent가 회사 정책 안에서만 움직이도록 가드레일을 두고 경계를 충분히 시험합니다.

현장에서 나온 수치는 무엇을 재야 하는지를 보여 줍니다.

사례 수치
한 정부 기관의 컴플라이언스 심사 외부 인력으로 수개월과 $수백만이 들던 심사를 Claude 도입 후 약 1주로 단축
한 법무 컴플라이언스 업무의 오류 한 건 내부 평가 기준 중앙값 $70만, 최악의 경우 $1억
같은 업무의 오류율 개선 0.03%에서 0.01%로
사람 손을 없애는 자동화에서 인건비 추론 비용의 100배 이상
$1당 얻는 지능 해마다 약 100배 개선되는 것으로 추정

오류 한 건의 비용이 이 정도인 업무에서는 인건비 절감보다 오류율을 낮추는 쪽이 훨씬 큰 가치를 냅니다. 추론 비용을 아끼려는 최적화가 우선순위에서 밀리는 이유도 같습니다.

Jevons paradox(값이 내려가면 쓰임이 오히려 늘어나는 현상)도 자주 나타납니다. 처음에는 직원 시간을 아끼려고 도입했는데, 비용과 시간이 크게 줄면서 일부 고액 고객에게만 제공하던 서비스를 전체 고객에게 내놓을 수 있게 됩니다. 비용 절감 사업이 매출 확대 사업으로 바뀌는 셈입니다.

가장 큰 성과는 계획에 없던 곳에서 나오는 경우가 많습니다. 전문가의 지식을 담아 만든 agent가 신입 교육에 쓰이면서, 석 달짜리 도제식 교육을 운영하던 한 회사의 신입 적응이 눈에 띄게 빨라진 일이 그런 예입니다. Anthropic 역시 고객이 Claude를 생물학 연구, 임상시험, 신약 개발 과정에 적용하는 것을 보며 예상하지 못한 쓰임을 뒤늦게 알게 된다고 합니다. 초기에 token(모델이 처리하는 텍스트 단위) 사용량을 제한 없이 열어 두면 비용이 커 보이지만, 가능한 쓰임을 찾으려면 이 탐색이 필요합니다. Opus 3.5처럼 이전 세대보다 품질은 높고 운영 비용은 낮은 모델이 나오면서, 일찍 과감하게 투자한 기업이 큰 수익을 보고 있다는 설명입니다.

다만 성과 측정 방법은 아직 성숙하지 않았습니다. 창의적이거나 정성적인 업무는 정답을 프로그램으로 확인할 수 없기 때문입니다. 지금 쓰이는 방법은 사람이 결과 일부를 표본으로 점검하고, 별도의 모델이 채점자 역할을 맡아 평가를 이어 가는 조합입니다.

직원이 먼저 찾게 만드는 도입 방식

175년 역사의 제약사 Pfizer처럼 오래된 기업에서는 도달할 모습이 불확실한 상태로 변화를 이끌어야 한다는 고민이 나옵니다. 여기에 대한 처방은 위에서 내려보내는 지시와 점검표를 버리고, 제품이 스스로 쓰이게 만드는 것입니다.

첫째는 직원이 매일 하면서도 가장 싫어하는 일을 먼저 자동화하는 것입니다. AI가 미리 채워 둔 결과를 사람이 가볍게 확인하는 구조로 바꾸면 20분 걸리던 반복 작업이 짧은 검증으로 줄어듭니다. 여기에 점수판이나 보상 같은 게임 요소를 얹고 기능을 조금씩 공개하면, 직원은 강제로 쓴다고 느끼지 않고 쓰는 재미를 느끼게 됩니다.

둘째는 열의 있는 소수의 선도 그룹에 token 한도를 넉넉히 주고 구체적인 성과를 만들게 하는 것입니다. 믿을 만한 동료가 보여 주는 놀라운 시연은 부서를 넘어 빠르게 번지고, 경영진이 강제하지 않아도 조직의 동의를 얻어 냅니다.

한 회사에서는 AI 도구를 꺼리던 20년 차 직원들이, AI의 도움을 받는 신입이 자신들보다 높은 성과를 내는 모습을 보고 금세 태도를 바꿨습니다. 신입은 첫날부터 도구와 한 몸처럼 일하는 방식을 익혔습니다.

AI 도구로 일하는 신입 직원을 선임 직원들이 뒤에서 관심 있게 지켜보는 장면

▲ 동료 시연이 이끄는 확산

회의적인 전문가에게는 작동하는 결과를

제약이나 해운처럼 규제가 강한 분야의 전문가는 AI가 자기 일을 해낼 수 있다는 말을 쉽게 믿지 않습니다. 추상적인 가능성을 설명해서는 설득되지 않습니다. 좁은 세부 영역을 하나 골라, 번거로운 12단계 절차가 하나의 자동화된 흐름으로 줄어드는 모습을 실제로 보여 줘야 합니다. 자기 분야에서 끝까지 안정적으로 돌아가는 결과를 본 뒤에야 생각이 개인 생산성에서 절차 전체의 재설계로 넓어집니다.

비정형 문서와 대화 기록에서 뜻밖의 통찰을 찾으려는 시도에도 같은 원칙이 적용됩니다. agent를 사람보다 똑똑한 존재로 기대하면 안 되고, 지치지 않고 끈기 있게 일하는 존재로 다뤄야 합니다. 사람이 직접 읽을 수 있는 기록은 10~100시간 분량이지만 agent는 수천 시간 분량을 살필 수 있습니다. 그래서 먼저 분야 전문가가 원자료를 직접 읽어 핵심 패턴을 찾습니다. 그다음 그 발견을 eval로 만들고, 작업 agent의 결과를 채점 agent가 평가하며, 채점 agent는 다시 사람의 표본 점검과 비교해 검증합니다. 이 구조에서 반복 개선을 거치면 agent가 사람 수준의 판단을 대규모로 해낼 수 있습니다.

정리: 보급 다음에 해야 할 일

도구를 나눠 준 것은 시작일 뿐입니다. 성과는 사람 머릿속 지식을 꺼내 AI가 쓸 수 있는 형태로 옮기고, 직원이 스스로 쓰고 싶어지는 경험을 만드는 데서 나오는 것으로 보입니다. 지금 점검할 일은 다음과 같습니다.

  • 핵심 업무 담당자 옆에서 실제 작업을 관찰하고, 예상과 다른 행동의 이유를 물어 기록합니다.
  • AI를 shadow mode로 먼저 붙이고, 사람 승인 단계를 거치며 수정 내용을 모두 남깁니다.
  • 직원이 가장 싫어하는 반복 업무를 첫 자동화 대상으로 고릅니다.
  • 소수 선도 그룹에 충분한 token 한도를 주고, 그 결과를 동료에게 보여 주게 합니다.
  • 인건비 절감만 보지 말고 오류 비용과 새로 열리는 매출 기회를 함께 계산합니다.
  • 회의적인 부서에는 일반 챗봇 대신 그 부서의 좁은 업무 하나를 끝까지 처리하는 시연을 준비합니다.