AI agent(스스로 계획을 세우고 도구를 써서 작업을 수행하는 AI)를 수십 개 동시에 돌리는 일이 흔해지면서, 바쁘게 돌아가는 모습과 실제로 끝난 일 사이의 간격이 커지고 있습니다. token(모델이 처리하는 텍스트 단위)은 계속 소모되고 문서와 슬라이드는 쌓이지만, 정작 그것을 읽고 결정에 쓰는 사람이 없다면 그것은 일이 아니라 '생산성 연극'입니다. Claude와 OpenAI Codex 안에서 여러 agent를 운영하며 얻은 네 가지 원칙은, 결과물의 양이 아니라 사람의 주의력을 기준으로 agent를 관리하자는 하나의 생각으로 모입니다.
생산성 연극은 왜 AI 시대에 더 알아보기 어려운가
생산성 연극은 일처럼 보이고, 일처럼 느껴지고, 일처럼 token을 태우지만, 결과는 아무도 신경 쓰지 않는 보고용 슬라이드 한 장으로 끝나는 활동을 말합니다. 예전의 사무실 잡무는 겉으로도 잡무처럼 보였지만, agent가 만든 결과물은 분량과 완성도가 그럴듯해서 진짜 진전과 구분하기가 훨씬 어렵습니다. 새 앱을 몇 개씩 만들고 계획서를 쓰고 agent를 하루 종일 돌리면서도 정작 본업인 사업은 아직 출시조차 못 한 경우가 적지 않습니다.
그래서 자율 agent를 다루는 일은 이전의 어떤 기술보다 더 분명한 의도를 요구합니다. 네 가지 원칙은 다음과 같습니다.
| 원칙 | 핵심 |
|---|---|
| 1. agent가 끝난 뒤 사람이 할 일을 센다 | 생성 비용이 아니라 읽고 검증하고 실행하는 비용이 진짜 비용 |
| 2. 약속하는 것보다 더 많이 실험한다 | 가벼운 실험은 많이, 장기 프로젝트 전환은 엄격하게 |
| 3. 반복시키기 전에 끝나는 때를 정한다 | 종료 조건 없는 반복 작업은 목적보다 오래 산다 |
| 4. 주의력에 예산을 둔다 | chief of staff agent가 알림을 걸러 사람의 집중을 지킨다 |
원칙 1: agent가 끝난 뒤 사람이 할 일을 먼저 센다
agent가 몇 초 만에 많은 양을 만들어 내면 그 속도에 눈이 멀어 그 뒤에 남는 사람의 일을 잊기 쉽습니다. 하지만 문서를 만드는 비용은 시작에 불과합니다. 누군가 그것을 읽고, 이해하고, 평가하고, 실행해야 합니다.
좋은 사례와 나쁜 사례의 차이는 여기서 갈립니다. 뉴저지 남부에서 요리 서비스 업체를 운영하는 한 요리사는 Claude로 고객 맞춤 제안서를 만들어 6주 만에 $2만의 계약을 따냈습니다. 이 흐름이 작동하는 이유는 제안서가 채택되면 그 뒤에 이어지는 일이 본인이 정말 하고 싶은 고부가가치 요리 작업이기 때문입니다. agent의 결과물이 사람이 원하는 일로 곧바로 이어지는 구조입니다.
반대로 흔한 함정은 결과물의 가치를 '예전이라면 개발자 한 명이, 팀 하나가, 일주일이 걸렸을 일'로 환산하는 것입니다. 이 계산은 그 일에 내 시간을 써야 하는지 자체는 알려 주지 않습니다. 팀이 일주일 걸려 쓰던 분석 보고서를 agent가 순식간에 만들어도, 그 결정이 중요하지 않거나 내 몫이 아니라면 읽는 데 쓴 10분이 낭비입니다. 주간 보고서를 자동으로 만들어 조직 전체에 뿌리면, 검증되지도 않은 이유로 팀 전체에 매주 읽어야 하는 주의력 세금을 물리는 셈이 됩니다.
agent를 띄우기 전에 세 가지를 묻는 것이 좋습니다.
- 이 결과물을 누가 쓰는가
- 결과물이 나온 다음에는 무엇이 이어지는가
- 그 이어지는 일에 내 시간을 쓰고 싶은가
계산 과정을 보여 달라고 하고, 검토는 별도 agent에게 맡긴다
시카고 지역에서 1984년부터 도장 업체를 운영해 온 한 사업자는 Claude로 여러 층짜리 건축 도면 PDF를 읽어 입찰 견적을 뽑습니다. 그런데 Claude가 벽면을 실제로 재는 대신 바닥 면적에 배수를 곱하는 방식으로 계산한 것을 발견했습니다. 그대로 갔다면 크게 낮은 금액으로 입찰할 뻔했습니다. 이후 그는 모든 계산 과정과 측정 단계를 반드시 보여 주라는 규칙을 prompt(모델에 주는 지시문)에 넣었습니다.
이 사례의 교훈은 두 가지입니다. 첫째, 어떤 계산을 꼼꼼히 봐야 하는지는 해당 분야의 전문성이 있어야 알 수 있고, 그 지식으로 agent의 과제를 고쳐야 합니다. 둘째, 핵심 수치가 틀린 깔끔한 제안서는 쓸모없는 것보다 더 나쁩니다. 잘못된 신뢰를 만들기 때문입니다.
사람이 모든 검증을 떠안을 필요는 없습니다. 검토 전담 agent를 따로 두고 다음과 같은 일을 맡길 수 있습니다.
- 근거와 인용을 확인한다
- 답이 뒤집힐 만한 숨은 가정을 찾아낸다
- 사람이 직접 조사했을 항목을 미리 정리한다
이렇게 하면 사람의 주의력을 높은 수준의 판단과 글쓰기처럼 솜씨가 필요한 일에 남겨 둘 수 있습니다. 어려운 개념을 깊이 배우고 솜씨를 들이는 일은 agent가 아무리 발전해도 사람 몫으로 남는다는 것이 이 원칙의 전제입니다.

▲ agent 계산 과정 검증
원칙 2: 약속하는 것보다 더 많이 실험한다
방향이 불확실할 때는 바로 큰 프로젝트를 시작하기보다 저렴한 탐색용 agent 실험을 돌리는 편이 낫습니다. agent는 과감한 가설을 시험하고, 감정적·금전적 자본을 넣기 전에 실패한 접근을 버릴 수 있는 안전한 sandbox(격리된 실험 공간)입니다. 현실과 부딪혀 살아남지 못한 실험을 버리는 것 자체가 매우 가치 있는 일입니다.
문제는 싼 실험을 전부 정식 프로젝트로 취급할 때 생깁니다. 프로젝트가 되는 순간 결정, 기술 스택, 피드백, 유지 보수가 따라붙습니다. 시작 비용이 낮아진 탓에 한 달 안에 감당할 수 없을 만큼의 유지 부담을 떠안게 되는 것입니다. 실험은 자유롭게 많이 하되, 지속 운영으로 넘기는 문턱은 엄격하게 두어야 합니다.
병렬 agent는 같은 답의 변주가 아니라 다른 가설을 맡긴다
구독형 소프트웨어의 고객 이탈(churn)을 예로 들면, 병렬 agent에게 서로 다른 각도를 맡기는 것이 핵심입니다. 하나는 해지 사유, 하나는 사람들이 도움을 요청한 지점, 하나는 돌아온 고객과 떠난 고객의 차이를 봅니다. 이탈이 불만 때문인지 일시적 사용 중단 때문인지가 여기서 갈립니다.
반면 많은 사람이 '왜 떠나는가'를 조사하기 전에 충성 프로그램, 가격 페이지 개편, 복귀 유도 흐름을 만드는 agent부터 돌립니다. 이렇게 먼저 만들어 버리면 이미 들인 노력이 아까워 성립하지 않는 해법을 못 버리는 매몰 비용 오류에 빠집니다. 같은 답의 사소한 문체 변주 다섯 개를 받는 것도 마찬가지로 쓸모가 적습니다. 새로운 통찰은 없이 다섯 버전을 수동으로 비교하는 무거운 일만 남습니다.
또 하나 빠르게 알아차려야 할 것은, 결정에 필요한 데이터가 디지털 agent의 손이 닿지 않는 곳에 있는 경우입니다. 불확실성이 고객의 지불 의사에 달려 있다면 agent로 가상 설문을 돌리는 것은 자기기만에 가깝습니다. 누군가 실제 고객에게 돈을 내겠느냐고 물어야 합니다. 이탈 고객에게 직접 전화해 가격과 효용에 대한 의견을 듣는 것이 합성 persona를 만드는 것보다 낫습니다. agent가 현실의 불편한 대화를 피하게 해 주는 깔끔한 초안을 내놓는다고 해서 그 추천을 그대로 받아들이면 안 됩니다.
병렬 실험의 장점은 주된 길이 막혔을 때 이미 대안의 맥락을 갖고 있어 바로 Plan B로 갈 수 있다는 점입니다. 다만 어디에 집중하고 무엇을 결정할지는 끝까지 사람의 책임입니다.
원칙 3: 반복 작업으로 만들기 전에 끝나는 때를 정한다
어떤 작업을 반복 실행으로 바꾸기 전에, 언제 멈추고 언제 끝나는지를 먼저 정해야 합니다. 종료 기준이 없는 반복 agent는 만들어진 이유보다 오래 살아남아 아무도 모르는 사이에 백그라운드에서 token을 계속 태웁니다.
흔한 예가 있습니다. 진출을 검토하던 시장에 대해 주간 업데이트를 보내는 agent를 만들어 두었는데, 두 달 전에 이미 다른 시장을 골랐는데도 보고서는 계속 도착하고 읽히지 않은 채 쌓이는 경우입니다. agent는 지시받은 대로 무한히 실행할 뿐이므로, 읽지 않는 자동 보고서가 쌓이는 것은 AI의 결함이 아니라 사람의 작업 규율 문제입니다.
반복 작업이 자라나는 경로는 대체로 두 가지입니다.
- 한순간의 호기심이 반복 작업이 된다
- 일시적인 걱정이 매일 돌아가는 모니터링 파이프라인이 된다
해법은 명시적인 중단 조건입니다. 예를 들어 "이 이메일에 3일 동안 답이 없으면 더 보내지 말 것"처럼 agent에게 미리 알려 두는 식입니다. 또한 agent의 결과물이 내 호기심의 방향을 정하게 두어서는 안 됩니다. agent가 새 시장 조사를 제안하면 조사 자체는 agent에게 사소한 일이지만, 그 결과를 받아 든 사람에게는 큰 전략적 결정과 시간이 요구됩니다. 의도를 좁고 강하게 유지하고, 어떤 발견을 더 파고들지는 사람이 능동적으로 정해야 합니다.

▲ 알림을 거르는 조정 agent
원칙 4: 주의력에 예산을 두고 chief of staff agent에게 지키게 한다
네 번째 원칙은 작업 흐름을 관리하고 사람의 주의력을 보호하는 전담 agent, 이른바 chief of staff agent(비서실장 역할을 하는 조정 agent)를 두는 것입니다. 여기서 주의력 예산은 분 단위로 시간을 세는 것이 아니라, 전략 목표에 비추어 실제로 중요한 정보만 걸러서 정리하는 것을 뜻합니다.
이 발상의 바탕에는 사람과 agent의 비대칭이 있습니다. agent는 사실상 무한한 주의력을 갖고, 늘 깨어 있고, 끝없이 일을 만들어 낼 수 있습니다. 사람은 균형과 휴식이 필요하고 집중할 곳을 한정해야 합니다. 그러므로 agent와의 상호작용은 기계의 능력이 아니라 사람의 한계를 중심으로 설계해야 합니다.
구조는 단순합니다. 전문 sub-agent들이 보내는 알림이 먼저 chief of staff agent에게 가고, chief of staff agent는 사람의 기존 약속과 새 과제가 더하는 부담을 알고 있는 상태에서 알림을 걸러 사람에게 전달합니다. 사람에게 끼어들어도 되는 경우는 두 가지뿐입니다.
- 기한이 있는 중요한 약속
- 진행 중인 결정을 바꿀 만큼 실질적인 새 증거
일상적인 상태 알림 대부분은 여기서 멈춥니다. 반면 드물게 들어온 고객의 생생한 일화는 경영진의 우선순위와 맞닿아 있다면 일부러 전달합니다. 결과적으로 사람은 agent를 관리하고, chief of staff agent는 사람이 검토할 구조화된 선택지와 실행 요건을 준비합니다. 이 구조를 쓰면 생산성은 훨씬 높아지면서도 정신없이 바쁘다는 느낌은 줄어든다는 것이 핵심 주장입니다. 다만 사람의 한계에 맞춘 엄격한 주의력 예산을 실제로 정착시키는 일은 논쟁의 여지가 있고 대부분에게 쉽지 않다는 점도 함께 인정됩니다.
여러 agent 때문에 답답하거나 압도된다고 느낄 때는 어떤 실패 양상이 그 스트레스를 만드는지 마찰 지점을 되짚어 보는 것이 좋습니다. software factory(소프트웨어 공장)든, 병렬 agent 시스템이든, 상위 모델 하나가 저렴한 sub-agent 여럿을 지휘하는 swarm이든, 구조에 관계없이 성패는 사람의 결단에 달려 있습니다. 무엇이 중요한지 고르고, 그 의도를 분명히 전하고, 꼭 필요하지 않은 작업은 끄는 것입니다.
세 가지 점검 질문과 지금 할 일
지금 돌아가고 있는 agent마다 다음 세 가지를 물어보면 생산성 연극을 가려낼 수 있습니다.
| 질문 | 통과하면 |
|---|---|
| 내가 정말 신경 쓰는 일에 쓰이는가 | 유지 |
| 아직 배우는 중인 실험인가 | 종료 조건을 달고 유지 |
| 끄는 것을 잊어서 돌아가고 있을 뿐인가 | 중단 |
agent는 자기 결과물을 늘 "이것은 중요합니다, 긴급합니다"라는 틀로 내놓는 경향이 있고, 이것이 우선순위를 왜곡하고 사람의 여력을 갉아먹습니다. 이를 바로잡으려면 agent에게 어떤 알림이 그저 실험이고 어떤 것이 무시해도 되는 소음인지 솔직하게 가려내도록 강제하는 별도의 prompt를 두는 방법이 있습니다. 사람이 들어야 할 말은 "이건 사실 중요하지 않습니다, 그냥 실험입니다"이기 때문입니다.
정리하면 독자가 바로 적용할 수 있는 일은 다음과 같습니다.
- agent를 띄우기 전에 결과물을 읽고 실행하는 데 드는 사람의 시간을 먼저 계산합니다.
- 견적이나 추정처럼 숫자가 들어가는 작업에는 계산 과정을 단계별로 보여 달라고 지시하고, 가정과 인용을 점검하는 검토 agent를 따로 둡니다.
- 탐색 실험은 자유롭게 돌리되, 지속 프로젝트로 넘길 때는 엄격한 필터를 둡니다. 병렬 agent에는 해법 초안이 아니라 서로 다른 데이터와 가설을 맡깁니다.
- 고객의 수요, 가격, 만족도가 쟁점이면 agent 밖으로 나가 사람과 직접 이야기합니다.
- 반복 작업에는 시작 전에 중단 조건을 붙입니다.
- 끼어들 수 있는 조건을 기한 있는 약속과 결정을 바꿀 증거 두 가지로 명시한 chief of staff agent를 둡니다.
더 많은 agent와 더 많은 token이 더 많은 생산성은 아닙니다. 의도가 좁고 분명할 때만 agent는 연극이 아니라 실제 일을 합니다.


