Bolt에서 최고제품책임자(CPO)를 지낸 뒤 고객 대화 AI 플랫폼을 만드는 스타트업을 창업한 한 창업자가, Claude Code만으로 이탈 고객에게 먼저 메일을 보내고 답장이 오면 스스로 다시 답하는 고객 조사 agent(스스로 판단해 작업을 수행하는 AI 프로그램)를 만드는 과정을 공개했습니다. 프로토타입을 만드는 데 걸린 시간은 30~40분이고, 그 위에 '이 답장을 사람이 보지 않고 보내도 되는가'를 코드로 검사하는 eval(평가 기준을 코드로 두고 반복 검증하는 절차) 단계를 덧붙이는 데는 prompt(AI에 주는 지시문) 한 번이면 충분했습니다. 이 글은 그 구축 과정을 따라가며 두 가지를 확인합니다. 하나는 AI 시대에는 PM 한 명과 엔지니어 3~5명으로 된 작은 팀이 과거 엔지니어 20~25명 규모 팀의 성과를 낸다는 주장이 실제 작업에서 어떻게 드러나는지이고, 다른 하나는 agent가 사람 없이 고객에게 답장하도록 하려면 eval을 어떻게 설계해야 하는지입니다.

월 7~8명에서 수만 명으로, 고객 조사의 병목

이 창업자는 Bolt의 CPO 시절에도 한 달에 고객 7~8명과 직접 대화하면 잘하는 편으로 여겨졌다고 돌아봅니다. 더 많은 고객과 대화하려면 연구원과 상담원을 대규모로 고용해야 했기 때문입니다. 지금은 AI agent가 PM을 대신해 양방향으로 질문하고 답하면서 매달 수만 명과 대화할 수 있고, 그 결과를 분석해 정기적으로 제품팀에 돌려줄 수 있습니다. 행동 데이터 옆에 "왜 그랬는지"라는 질적 맥락이 붙는 셈입니다.

이 방식이 설문과 다른 점은 예상 밖의 망설임을 그 자리에서 파고들 수 있다는 것입니다. 사용자가 "DNA 결과에 모르는 친척이 나오면 어색할 것 같다"고 쓰면 agent는 바로 그 지점을 더 물어보고, 대화 중에 우려를 풀어 주려 시도하면서 동시에 패턴을 기록합니다.

Ancestry.com의 장바구니 이탈 고객을 대상으로 한 A/B 테스트 결과는 다음과 같습니다.

구분 인원 전환율 전환 수
대화형 메일 접촉 그룹 86,400명 18.4% 15,898건
미접촉 대조 그룹 85,900명 13.4% 11,511건

상대 상승률은 37.3%(p값 0.001 미만)이고, 추가 주문은 약 4,300건입니다. 매출 효과만이 아니라 답장이 온 3,470건의 대화에서 이탈 이유를 대화당 평균 1.5개 테마로 분류했습니다. 프라이버시와 예상 밖 DNA 결과(42.1%), 선물용인지 본인용인지에 따른 시기 문제(38.6%), 구독과 숨은 비용 우려(31.2%), 과학적 정확성에 대한 의심(24.5%), 경쟁 대안 검토(19.8%) 순이었습니다.

더 흥미로운 것은 이의 유형별 전환율입니다. 배송 시기를 물은 고객은 41.3%가 전환했지만, 구독 조건이 헷갈린다고 한 고객은 19.8%, 예상 밖 친척이 걱정된다고 한 고객은 14.2%만 전환했습니다(답장 고객 전체 기준 31.5%). 이 창업자의 해석은 명확합니다. 배송 마감일처럼 사실을 알려 주면 풀리는 이의는 대화로 해결되고, 구독 구조처럼 제품과 가격 설계에서 비롯한 이의는 AI가 아무리 잘 답해도 전환되지 않으므로 로드맵에서 다뤄야 할 신호라는 것입니다.

30~40분 만에 만드는 Check-In Loop의 구조

이 창업자가 제시한 구조는 'Check-In Loop'라고 불립니다. 구성 요소는 네 가지입니다.

  1. 데이터 입력: CSV 파일, Snowflake 같은 데이터 웨어하우스, Segment 같은 CDP(고객 데이터 플랫폼)에서 체험 중단 시점과 사용 이력 같은 속성을 읽습니다.
  2. 규칙 문서: prompt brief와 CLAUDE.md라는 Markdown 파일에 메시지 구조, 톤, 사람에게 넘기는 에스컬레이션 경로, agent가 결정할 수 있는 권한의 범위를 적습니다.
  3. 발송 skill: 아직 연락하지 않은 이탈자를 찾아 그 고객의 메타데이터로 개인화한 메일을 쓰고, MCP(Model Context Protocol, AI가 외부 도구에 연결하는 표준)로 연결한 Gmail을 통해 보냅니다.
  4. 답장 처리: 답장이 오면 일반 답장과 에스컬레이션으로 분류하고, 답장을 생성해 보내며, 필요하면 Slack으로 알립니다.

예시로 쓰인 것은 Cadence라는 가상의 AI 피트니스 코칭 앱입니다. CLAUDE.md에는 운동 프로그램을 어디까지 바꿔 줄 수 있는지, 부상 관련 문의는 어떻게 다루는지, 환불 정책, 할인 상한이 구체적으로 적혀 있습니다. 회사에 이런 문서가 없다면 Claude에게 회사 웹사이트를 읽혀 제품 문서 초안을 만들게 하면 된다고 합니다.

대상은 14일 체험의 12일째에 가벼운 활동만 하고 이탈한 사용자였습니다. 체험 종료 4일 전이라는 제목의 메일이 나가고, 사용자가 "운동 강도가 너무 높다", "예산이 부담된다"고 답하면 agent가 몇 분 안에 규칙 안에서 답합니다. 첫 테스트에서는 Gmail 스레드가 원래 메일에 붙지 않고 끊기는 문제와 어색한 표현이 나왔는데, 이를 몇 차례 고치는 과정을 포함해 30~40분이 걸렸습니다.

스프레드시트, 규칙 문서, 메일 발송과 답장이 순환하는 흐름을 그린 화이트보드

▲ Check-In Loop의 구조

답장을 받아내는 메일의 조건

구조를 만든 뒤에는 어떤 메일을 보내느냐가 응답률을 결정합니다. 이 창업자가 제시한 원칙은 다음과 같습니다.

  • 즉시 답합니다. 자동 응답에 의도적으로 지연을 넣어 보니 답장률이 급격히 떨어졌습니다. 사용자가 수신함을 닫고 다른 일로 넘어가면 대화의 흐름이 끊기고, 답장률과 함께 전환율도 떨어집니다. 단, 몇 초 안에 오는 답장은 기계처럼 느껴지므로 몇 분 정도의 간격이 자연스럽습니다.
  • 서식 없는 평문으로 보냅니다. 마케팅 발송이 아니라 한 사람이 쓴 메일처럼 보여야 합니다.
  • 질문은 하나만 합니다. 첫 메일에 설문 전체를 밀어 넣는 것이 흔한 실수입니다. 지금 funnel 단계에 맞는 짧은 질문 하나가 답장의 문을 열고, 후속 질문은 대화에서 이어 갑니다.

메일을 보낼 지점은 고객 생애주기의 네 곳입니다.

지점 대상 특징
온보딩 이탈 이메일만 남기고 설정을 끝내지 않은 사용자 응답률은 가장 낮지만 양이 많고 활성화 장벽을 드러냄
체험 중간 점검 체험 중인 사용자 설정이 잘 됐는지 확인하고 마찰을 체험 종료 전에 해소
체험 종료 미전환 체험을 마치고 결제하지 않은 사용자 피드백을 받는 대가로 구독 20% 할인 같은 인센티브 제시
사용 급감·구독 취소 최근 몇 주 사용이 급감한 사용자, 해지자 가치가 왜 사라졌는지에 대한 신호가 가장 강함

여기에 유료 기능을 살펴보고 사지 않은 사용자를 더하면 수익화의 걸림돌을 알 수 있습니다. 반면 지금 활발히 쓰는 핵심 사용자에게는 메일보다 앱 안의 경험이나 채팅이 낫고, 작업 중인 사용자에게 조사용 팝업을 띄우는 것은 전환을 해칠 수 있다고 봅니다.

잘 겨눈 조사 메일의 응답률은 20~40%이고, 한 피트니스 앱의 체험 이탈 메일은 약 35%였습니다. 제품을 써 본 사람일수록 답장 의향이 높습니다. 인프라는 처음에는 일반 Gmail 계정으로 충분하지만 일일 발송 한도가 있어 소규모 테스트에 적합하고, 규모가 커지면 Postmark 같은 거래 메일 서비스를 MCP로 연결하거나 마케팅팀과 조율해야 합니다. Medallia나 Qualtrics 같은 마케팅 운영 플랫폼을 거치지 않고 PM이 독립적으로 실험을 돌릴 수 있다는 점이 핵심입니다. 쌓인 대화 스레드는 그 자체가 검색 가능한 질적 데이터셋이 되어, 새 기능을 출시할 때 과거에 그 기능이 없다고 불평한 사용자를 찾아 베타 테스트에 초대하는 식으로 다시 쓸 수 있습니다.

사람 없이 답장하게 하는 eval loop 설계

여기까지가 프로토타입이라면, 실제 고객에게 자동으로 답장을 보내려면 조건이 하나 더 붙습니다. agent의 주장이 실제 도움말 문서에 근거해야 하고, 브랜드의 말투와 영업 가이드를 지켜야 한다는 것입니다. 이를 코드로 보장하는 것이 eval loop입니다.

구축 방법은 간단했습니다. Claude Code 터미널에 다음과 같은 취지의 prompt를 입력합니다. "분류 단계 뒤에, 자동 발송 대기열에 있는 답장을 대상으로 시스템 문서 대비 groundedness(근거성, 답변 내용이 제공된 문서에 실제로 근거하는지) eval 단계를 추가하라. eval에 실패하면 생성 과정을 다시 실행하고, 재생성한 답장은 검토용 초안으로 저장하라."

결과 흐름은 다음과 같습니다.

  1. 고객 답장 수신 후 Claude가 일반 답장과 에스컬레이션으로 분류합니다.
  2. 답장을 생성합니다.
  3. 자동 발송 모드로 설정된 메일만 groundedness eval을 거칩니다.
  4. 통과하면 발송합니다.
  5. 실패하면 실패 사유를 context에 넣어 한 번 더 생성하고, 그 결과를 Gmail 초안으로 저장해 사람이 검토합니다.
  6. 실패 시 Slack 채널에 알림이 갑니다.
자동 발송 답장이 groundedness eval을 거치는 흐름 예 아니오 고객 답장 수신 일반 답장·에스컬레이션 분류 답장 생성 자동 발송 모드 메일만groundedness eval 통과? 발송 실패 사유를 context에 넣어한 번 더 생성 Gmail 초안 저장·사람 검토Slack 채널 알림
▲ 자동 발송 답장이 groundedness eval을 거치는 흐름

이 설계에는 세 가지 원칙이 깔려 있습니다.

첫째, eval 실패가 실행을 멈추거나 잘못된 메일을 보내는 대신 LLM에 피드백으로 돌아갑니다. 실패 이유를 모델에 다시 넣으면 대부분 다음 턴에서 통과하는 답이 나온다고 합니다.

둘째, 과적합을 경계합니다. 엄격한 평가 기준에 맞추려고 prompt를 땜질하면 대화가 부자연스러워집니다. 실패 사유는 전체를 다시 생성하는 맥락으로 쓰고, 특정 문구를 고치는 식의 패치는 피해야 합니다. 그래야 전체 맥락을 추론하면서 특정 결함만 해소할 수 있습니다.

셋째, 이메일이라는 채널의 비동기성을 활용합니다. 실시간 채팅은 300밀리초 안에 답이 와야 하고 3분을 기다려 주는 사용자는 없습니다. 반면 이메일은 몇 분의 여유가 자연스러우므로, 그 사이에 여러 단계의 eval과 재생성을 돌릴 수 있습니다. 복잡한 검증이 필요한 LLM 작업은 채팅보다 이메일이 구조적으로 유리하다는 이야기입니다.

Claude Code는 되묻는 질문 없이 바로 diff(코드 변경 내역)를 만들었고, 이 창업자는 diff를 읽어 세 가지를 확인했습니다. eval이 자동 발송 메일에만 적용되는지, 생성된 답장의 주장을 문서와 대조하는지, 실패 시 사유를 포함해 한 번 재생성하고 초안으로 돌리는지입니다. 그런데 요청하지 않은 변경도 있었습니다. eval 실패 시 Slack에 실패 표시와 함께 알림을 보내도록 통합을 스스로 고친 것입니다. 이런 행동은 유용할 때가 많지만, 의도하지 않은 로직이 바뀌지 않았는지 사람이 diff를 꼼꼼히 읽어야 하는 이유가 되기도 합니다.

검사 게이트를 통과한 메일은 발송되고 걸러진 메일은 재작성 후 초안 서랍으로 가는 모습

▲ 자동 발송 전 eval loop

운영 단계로 가면 테스트의 성격이 바뀝니다

프로토타입과 실제 운영 사이에는 품질 기준의 차이가 있습니다. 내부용 AI 도구는 직원이 결과를 보고 고칠 수 있으니 기준이 낮아도 됩니다. 고객 대면 agent는 그 안전망이 없으므로 훨씬 엄격한 자동 테스트와 결정론적 가드레일이 필요합니다.

  • 모델 버전을 올리기만 해도 행동이 바뀔 수 있습니다. 신뢰할 수 있는 샘플 데이터셋을 유지하고, 모델이나 prompt를 바꿀 때마다 기존 가드레일 기준을 같은 수준으로 통과하는지 회귀 eval을 돌려야 합니다. 세그먼트별로 일주일에 수백 번 출력을 조정하는 팀이라면 sandbox 평가 없이는 운영이 불가능합니다.
  • 전통적인 단위 테스트는 특정 입력에 정확한 출력이 나오는지 확인하지만, 대화형 AI는 열린 대화의 무수한 변형을 다뤄야 합니다. 구조화된 응답에는 결정론적 규칙을, 근거성이나 의도 준수 같은 주관적 속성에는 LLM-as-a-judge(다른 LLM이 심사자가 되어 출력을 평가하는 방식)를 조합하고, 사람의 QA를 더합니다.
  • LLM은 본래 사용자를 기쁘게 하려는 성향이 있습니다. 한 자동차 딜러의 챗봇이 트럭을 $1에 팔겠다고 약속한 사례가 그 결과입니다. 그래서 "제대로 했니?"라고 모델에게 묻는 얕은 검사로는 부족하고, agent가 취한 모든 행동이 시스템 prompt와 비즈니스 규칙에서 명시적으로 허용된 것인지 중간 trace(실행 기록)를 들여다봐야 합니다.
  • 실패만 보지 말고 성공도 분석합니다. 거의 전환되지 않는 어려운 상황에서 agent가 고객을 전환시켰다면, 그 접근을 해부해 prompt와 가이드라인에 반영할 수 있습니다.

이 창업자의 스타트업이 기업 고객에게 제공하는 플랫폼은 이 원칙이 플랫폼 차원에서 어떻게 구현되는지 보여 주는 참고 사례입니다. 시뮬레이션한 고객 대화를 묶음으로 생성해 운영자가 검토하고 피드백을 남기면 agent의 playbook과 가드레일, 참조 문서가 코드 수정 없이 갱신됩니다. 전역 가드레일에는 AI임을 밝히는 투명성, 250단어 이내의 간결성, 깨지지 않는 HTML 형식, 검증된 맥락에 근거할 것, 이미지 삽입 금지, 미승인 할인 쿠폰 금지, 빈 링크 파라미터 금지, 상투어와 요청하지 않은 조언 금지 등이 있고, 모든 초안은 통과할 때까지 자동으로 다시 생성됩니다. Claude Code로 직접 만든 eval loop에 어떤 항목을 넣을지 고민할 때 이 목록을 출발점으로 삼을 수 있습니다.

작은 pod가 엔지니어 25명 몫을 한다는 주장은 어디까지 맞나

이 창업자는 Uber 시절 PM 한 명에 엔지니어 3~4명이 일반적이었지만, 자신이 가장 생산적이었던 때는 PM 한 명이 엔지니어 25명과 일하던 시기였다고 말합니다. 비율이 높으면 관료적 절차가 사라지고 모두가 출시에만 집중하게 됐다는 것입니다. 그리고 지금은 PM 한 명과 엔지니어 3~5명으로 구성된 작은 pod가 AI 도구를 쓰면 과거 20~25명이 내던 기능 출시량을 낼 수 있다고 주장합니다.

위의 구축 과정은 이 주장을 어떻게 뒷받침할까요. 데이터 수집, 메일 통합, 분류, 답장 생성, eval, Slack 알림까지 갖춘 파이프라인을 PM 한 명이 30~40분과 prompt 몇 번으로 만들었습니다. 코드를 짜는 비용이 극적으로 낮아진 것은 이 사례만으로도 분명해 보입니다.

다만 사람의 몫으로 남은 일도 그만큼 또렷하게 드러납니다.

  • 무엇을 만들지 결정하는 일입니다. 이 창업자는 코드를 빨리 만드는 것은 쉬워졌고, 가장 큰 병목은 무엇을 만들지 정하는 것이라고 말합니다.
  • 규칙을 쓰는 일입니다. CLAUDE.md의 할인 상한, 에스컬레이션 조건, 부상 정책은 agent가 아니라 사람이 정했습니다.
  • 검토하는 일입니다. 요청하지 않은 Slack 변경을 잡아낸 것도, trace를 뜯어보는 것도 사람입니다.
  • 역할을 넓히는 일입니다. 이 속도로 일하려면 PM이 디자인과 제품 마케팅까지 겸하고, 빠른 맥락 전환을 감당해야 합니다. 속도가 빨라진 만큼 서로 연결되지 않는 기능을 남발해 제품이 분절될 위험도 커지므로, 전략적 일관성을 지키는 것이 PM의 일이 됩니다.
  • 거절하는 일입니다. 정렬 회의, 결재, 계획 체크리스트 같은 관료적 잡무가 PM의 본업처럼 여겨지던 관행을 끊고, 상태 보고와 회의 자료는 AI로 자동화해야 합니다.

그의 4인 스타트업 운영 방식도 같은 그림입니다. 사람의 시간 대부분을 문제 정의와 고객 여정 토론에 쓰고, FigJam이나 실제 화이트보드에 흐름을 그립니다. 회의 녹취와 다이어그램을 custom skill에 넘기면 AI가 PRD(제품 요구사항 문서)를 쓰고 Linear에 작업 티켓을 만들며, 코딩 agent가 티켓을 받아 초안 코드를 냅니다. 대기업이라면 여러 부서의 검토를 받는 표준 PRD 양식이 있겠지만, 브레인스토밍 녹취를 그 양식으로 옮기는 일은 AI가 할 수 있으므로 거버넌스를 지키면서도 문서 작성 시간을 줄일 수 있다고 봅니다. 따라서 작은 pod가 25명 몫을 한다는 말은 PM이 코드를 더 많이 쓴다는 뜻이 아니라, 코드 생산이 병목에서 빠지면서 판단과 검토에 쓰는 사람의 시간이 조직 성과를 결정하게 됐다는 뜻으로 읽는 것이 맞아 보입니다.

자동화하지 말아야 할 때와 시작하는 법

이 창업자는 자동화를 하지 말아야 할 때를 분명히 말합니다. 제품-시장 적합성(PMF)을 찾기 전이거나 고객 수가 적을 때입니다. 이 단계의 발견 작업은 영상 통화와 직접 만남으로 미묘한 고충을 체감해야 하는 일이고, 너무 일찍 자동화된 텍스트 대화에 의존하면 좋은 제품을 만드는 데 필요한 직관이 생기지 않습니다. 자동화는 제품이 기본 가치를 확립하고 규모가 커져 체계적인 접촉이 필요해진 뒤에 얹는 것입니다.

PMF 이후에도 사람의 대화는 사라지지 않습니다. 매주 최소 두 번은 Zoom, Slack, 문자로 고객과 직접 이야기하고, 그 위에 AI 이메일 접점, 음성 기반 자동 인터뷰, 영업 통화와 소셜 피드백의 자동 분석을 더하는 네 갈래 구조가 제안됐습니다. 자동 이메일은 깊이 들어볼 가치가 있는 응답자를 골라내는 선별 funnel로도 쓰이고, AI가 미리 모아 둔 맥락 덕분에 PM은 기본 질문을 건너뛰고 인터뷰에 들어갈 수 있습니다.

직접 시도해 보려는 독자를 위해 순서를 정리합니다.

  1. 체험 중단 시점과 사용 이력이 담긴 CSV를 준비합니다. 데이터 웨어하우스나 CDP 연결은 나중이어도 됩니다.
  2. CLAUDE.md에 톤, 메시지 구조, 할인 상한, 사람에게 넘길 조건을 적습니다. 문서가 없으면 Claude에게 회사 웹사이트로 초안을 만들게 합니다.
  3. Claude Code에 Gmail MCP를 연결하고, 자신이나 동료의 주소로 먼저 테스트해 스레드 연결과 표현을 다듬습니다.
  4. 평문, 질문 하나, 즉시 응답 원칙으로 네 생애주기 지점 중 하나부터 시작합니다. 체험 종료 미전환 고객에게는 피드백 대가로 할인을 제시해 봅니다.
  5. 자동 발송을 켜기 전에 groundedness eval을 추가하고, 실패 시 사유를 넣어 1회 재생성한 뒤 초안으로 돌리는 경로와 Slack 알림을 둡니다.
  6. Claude Code가 만든 diff를 읽고, 요청하지 않은 변경이 있는지 확인합니다.
  7. 운영에 들어가면 샘플 데이터셋으로 회귀 eval을 만들고, 모델 버전을 바꿀 때마다 돌립니다. 실패 trace와 함께 뜻밖에 잘된 trace도 분석합니다.
  8. AI가 아무리 잘 답해도 전환되지 않는 이의 유형을 모아 로드맵 논의에 올립니다. 그것이 이 agent가 PM에게 주는 가장 큰 산출물입니다.