Linear에 티켓 한 장을 쓰고 라벨을 붙이면, AI agent가 코드베이스를 조사하고 코드를 쓰고 테스트를 돌린 뒤 GitHub에 pull request를 여는 구조가 있습니다. 한 개발자가 Claude Code와 T3 Code, 클라우드 sandbox(격리된 실행 환경)를 엮어 만든 이 'software factory'는 오픈소스로 공개돼 있고, 하루 1억 2,000만 token에 $35.6를 쓰면서 agent 8개가 동시에 돌아가는 상태까지 운영되고 있습니다. 이 구조에서 눈여겨볼 점은 자동화의 범위보다 사람이 어디까지 손을 떼고 어디서 다시 잡는지를 명확히 정해 두었다는 데 있습니다.

공장이라고 사람이 빠지는 것은 아닙니다

Software factory는 AI agent가 표준화된 도구, 워크플로, 프로젝트 지식을 써서 소프트웨어를 만들고 테스트하고 유지하는 자동화된 개발 환경으로 정의됩니다. 흔한 오해는 한 번 만들어 두면 다시는 사람 손이 필요 없는 엔진이라는 생각입니다. 사람의 감독 없이 완전히 손을 뗀 자율 코딩은 실제로는 실패한다는 것이 이 구조의 출발점입니다. 집에서 내력벽을 빼면 지붕이 무너지듯, 사람의 감독을 빼면 공장이 내놓는 결과물의 구조가 무너진다는 비유입니다.

그래서 핵심은 사람과 agent 사이의 책임 분담을 정확히 정하는 일입니다. 여기에는 주방 비유가 쓰입니다. P-Stack을 만들었고 Cursor에서 일했던 한 엔지니어는 SpaceX와 xAI에서 한 달에 PR 2,500개를 production에 보낸 경험을 바탕으로, 공장 대신 상업 주방을 떠올리라고 제안합니다. 총괄 셰프 1명과 라인 쿡 10명이 있는 주방에서 셰프는 면을 직접 삶거나 재료 하나하나를 맛보지 않습니다. 셰프의 일은 작업을 나누어 맡기고, 품질을 확인하고, 간이 안 맞으면 조정하는 것입니다. 소프트웨어 개발에서는 엔지니어가 셰프, 코딩 agent가 라인 쿡에 해당합니다.

피해야 할 극단은 둘입니다. 생성된 코드를 한 줄씩 관리 감독하면 AI가 주는 속도의 이점이 사라지고, 반대로 맥락과 최종 승인 없이 agent를 방치하면 결과를 믿을 수 없게 됩니다.

구분 공장 이전의 수동 방식 공장 방식
시작 agent를 열고 조사하라고 prompt를 씀 Linear, Slack, GitHub Issues에 티켓을 씀
진행 코드 작성을 지켜보고 직접 테스트 agent가 조사, 구현, 테스트, PR 생성
마무리 사람이 PR을 만들고 merge 확신이 높으면 자동 merge, 아니면 사람 검토

티켓이 merge되기까지 거치는 단계

이 공장은 agent에게 임의의 prompt를 실행하게 두지 않고, 모든 요청을 정해진 순서의 상태 기계(state machine)로 통과시킵니다. 파스타를 만들 때 물을 끓이고 소금을 넣고 면을 삶고 소스를 준비하는 순서가 있듯, 질 좋은 자동 개발에도 엄격한 조리법이 필요하다는 생각입니다. 입력을 넣으면 결과가 튀어나오기를 바라는 방식은 'vibe coding(느낌대로 prompt를 던지며 코딩하는 방식) 슬롯머신'이라고 부르며 선을 긋습니다.

티켓이 merge되기까지 거치는 상태 기계 아니오 예 예 아니오 Linear에 티켓 쓰고라벨 붙이기 Triage·모호하면 멈추고사람에게 질문 Investigate코드베이스 조사와 문제 재현 Implement테스트를 먼저 쓰고 구현 Verifylint·test·typecheck·build 검사 통과? PR 생성·CI와리뷰 bot 결과 대기 확신 높고증거 충분? 자동 merge 사람 검토 뒤 merge
▲ 티켓이 merge되기까지 거치는 상태 기계
단계 하는 일
Triage 티켓이 실행 가능하고 명확한지 판단. 모호하면 멈추고 사람에게 질문
Investigate 코드베이스 조사와 문제 재현
Implement 테스트를 먼저 쓰고 구현
Verify lint, test, typecheck, build 실행. 실패하면 Implement로 되돌아감
PR 확신도와 작업 요약을 담은 pull request 생성
PR-CI CI와 리뷰 bot 결과 대기
Merge 조건을 만족하면 자동 merge, 아니면 사람 검토

테스트용 recipe 앱 저장소에 티켓 세 개를 넣어 이 흐름을 확인한 사례가 있습니다. 첫 번째는 recipe 카드에 별 버튼을 달아 즐겨찾기를 브라우저 local storage에 저장하는 기능, 두 번째는 화면에 보이는 recipe의 총 조리 시간을 계산해 표시하는 기능, 세 번째는 일부러 모호하게 쓴 "레시피 북을 더 보기 좋게 만들어 줘"였습니다. 즐겨찾기 티켓은 triage를 빠르게 통과해 새 컴포넌트와 테스트를 만들었고, 조리 시간 티켓은 Modal sandbox에서 test, lint, typecheck, build 4개 검사를 모두 통과했으며 실행 비용은 $0.35~0.38였습니다. 모호한 티켓은 triage에서 바로 '사람 대기(Waiting on you)' 열로 옮겨졌습니다.

총괄 셰프가 패스에서 요리를 맛보고 라인 쿡 열 명이 각자 조리하는 주방

▲ 셰프와 라인 쿡의 역할 분담

손을 떼는 지점: 자동 merge의 조건

마지막 merge 단계는 agent의 확신 점수와 테스트 증거에 따라 두 갈래로 나뉩니다. CI가 녹색이고, 테스트가 통과하고, bot 댓글에 오류 지적이 없고, agent가 높은 확신을 보고하면 공장이 PR을 자동으로 merge합니다. agent가 확신이 낮거나 애매한 edge case를 만났다고 보고하면 PR을 사람에게 배정해 검토와 구조 조정을 요청합니다.

저장소 설정에서는 '확신이 높을 때 자동 merge'를 켜고 Bugbot 보안 리뷰를 필수로 걸어 두었으며, 자동 merge를 허용하는 diff 크기 상한은 300으로 잡았습니다. 자동 merge는 반복 가능한 테스트 검증 없이는 절대 허용하면 안 된다는 것이 이 구조의 전제입니다. 그 전제 위에서는 사람이 직접 merge하는 것보다 자동 merge를 강하게 선호한다고 밝힙니다.

다시 잡는 지점: inbox 질문과 sandbox 진입

사람이 개입하는 통로는 두 가지입니다. 첫째는 inbox입니다. "레시피 북을 더 보기 좋게" 티켓에서 agent는 멈춘 뒤 세 가지 선택지를 제시했습니다. A는 시각적 다듬기만, B는 검색과 필터 기능, C는 재료 중심의 읽기 화면입니다. inbox에서 "A로 가자"라고 답을 넣자 티켓은 즉시 queue로 돌아가 triage, 조사, 구현을 차례로 진행했고, 나중에 recipe book 스타일을 다듬은 PR #6으로 이어졌습니다. 다른 사례로, recipe에서 쇼핑 목록을 만드는 티켓에서는 agent가 "올리브유 2큰술과 3큰술처럼 여러 recipe에 겹치는 재료를 합칠지, 따로 나열할지"를 물으며 합치려면 수량 parser가 필요해 하루가 더 걸린다고 추정치를 덧붙였습니다. 모호한 요청을 agent가 임의로 가정해 풀게 두지 않고 객관식 질문으로 멈추게 한 설계입니다.

둘째는 작업 중인 sandbox에 직접 들어가는 방법입니다. 진행 중인 작업에서 'Open in T3'를 누르면 Modal 컨테이너에 연결되는 임시 pairing URL이 만들어지고(15분 동안 유효), 브라우저에서 T3 Code 환경이 열립니다. 여기서 'Implement Polish' 같은 subagent가 실행한 명령과 터미널 출력, 브라우저 미리보기 오류를 살펴보고, 채팅으로 agent의 방향을 바로잡을 수 있습니다. 링크가 뜨기까지 몇 초가 걸리지만 감수할 만한 수준이라고 평가합니다.

안전장치가 실제로 작동한 사례도 있습니다. 조리 시간 티켓은 agent 확신이 높았는데도 자동 merge되지 않았습니다. 클라우드 실행 환경에 브라우저 라이브러리가 없어 앱 화면을 렌더링하고 검증용 스크린샷을 찍지 못했기 때문입니다. 검증 기준을 완전히 확인하지 못하자 자동 merge가 멈추고 사람 검토로 넘어갔고, 개발자가 PR #4의 자동 생성 문서와 테스트, 구현을 확인한 뒤 GitHub에서 squash merge했습니다. 몇 초 뒤 GitHub webhook이 대시보드를 'Merged'로 갱신했습니다. 이 실수는 runner 이미지에 브라우저 라이브러리를 넣는 것을 잊은 설정 오류였다고 인정하는데, 증거가 부족하면 merge를 막는다는 원칙이 지켜진 사례로 볼 수 있습니다.

자율을 떠받치는 것은 검증입니다

검증 없이는 자율 merge가 성립하지 않습니다. agent에게 자기 작업을 반복 가능하고 결정적인 방법으로 점검할 수단을 줘야 합니다. 이 역할을 두 도구가 나눠 맡습니다.

P-Stack은 프로젝트별 검증 skill을 제공하는 agent framework입니다. 앱을 띄우고, 상호작용을 수행하고, 증거를 모으고, 환경을 정리하는 절차를 skill로 정의해 agent가 실제 앱을 조작하며 콘솔 로그와 CLI 출력을 확인하게 합니다. 진입점 역할의 router가 티켓의 제약을 분석해 기능 개발, 버그 수정, 조사 같은 playbook으로 작업을 보내고, playbook은 범위 확정, 집중된 skill로 작업 실행, 객관적 증거로 결과 검증이라는 단계를 강제합니다. 이 공장에 적용된 구성은 playbook 23개, skill 58개, agent 역할 정의 12개 규모입니다.

TestSprite는 웹 앱 전용 자동 테스트 플랫폼입니다. 실행 중인 앱을 탐색해 테스트 계획을 세우고, 최대 96개의 병렬 agent가 실제 브라우저 세션을 돌린 뒤 구조화된 JSON 보고서를 코딩 agent에 돌려줍니다. Claude Code 같은 코딩 agent가 직접 브라우저를 조작하면 스크린샷과 DOM 덤프가 반복해서 context window(모델이 한 번에 다룰 수 있는 입력 범위)를 채워 100%에 이르는 일이 잦은데, 테스트 실행을 밖으로 빼면 이 부담이 줄어듭니다. 이 공장에 적용해 본 테스트에서는 token 소비가 약 50% 줄어 코딩하는 날 기준 $20 이상, 주당 $100 이상이 절약됐습니다. 다만 절감 폭은 개인의 도구와 워크플로에 따라 달라진다는 단서가 붙습니다. 실패 사례로는 Stripe 수수료 계산 테스트가 있습니다. $100 가격에서 고정 수수료 $0.30이 빠져 $96.80이어야 할 값이 $97.10으로 나왔고, TestSprite가 원인과 수정할 컴포넌트를 짚어 코딩 agent에 전달했습니다. 오픈소스 CLI가 있어 터미널 기반 agent가 테스트를 직접 실행할 수 있고, 생성, 실행, 점검, 개선, 검증을 반복하는 loop engineering 작업 방식을 지원합니다.

유리 격리 부스에서 로봇이 각자 작업하고 일부 부스는 휴면 상태인 모습

▲ 작업별 격리 sandbox와 휴면

어디서 돌리나: git worktree와 Modal sandbox

작업은 로컬 머신과 클라우드 두 곳에서 실행됩니다. 로컬에서는 T3 thread마다 별도의 git worktree(한 저장소에서 여러 작업 디렉터리를 쓰는 기능)를 만들어 병렬 agent가 같은 파일을 건드리거나 merge 충돌을 일으키지 않게 합니다. 클라우드에서는 Modal에 작업마다 전용 sandbox를 띄웁니다. worker 이미지에는 T3 Code, Claude Code, Codex, P-Stack, reporter, playbook이 고정 버전으로 들어 있고, 저장소마다 소스가 미리 clone되고 의존성이 설치된 warm 이미지를 캐시해 시작 시간을 줄입니다. 사람의 답변이나 PR 리뷰를 기다리며 5분 동안 유휴 상태가 되면 sandbox가 휴면에 들어가 비용을 멈추고, 답이 오면 그 상태 그대로 재개됩니다. Modal은 무료 tier가 넉넉하지만 더 빠르거나 저렴한 다른 sandbox 제공자도 있다고 덧붙입니다.

실행 harness(파일을 읽고 코드를 고치고 bash 명령을 실행하는 agent 런타임)는 Claude Code, Codex, Antigravity 중에서 고를 수 있고, 모델은 Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5, Claude Fable 5-1 가운데 선택합니다. 이 공장에서는 자율 코딩에 Claude Opus 5.5가 가장 믿을 만하다고 평가합니다. 전역 기본값과 별개로 Linear 라벨로 티켓마다 설정을 바꿀 수 있습니다. 앞서 든 티켓 세 개에는 'factory' 라벨로 webhook을 켜고, 'Runs on: Cloud'와 저장소 이름 라벨을 붙였으며, 모호한 티켓에만 'Harness: Codex'를 달아 harness를 바꿨습니다.

전체 구조 한눈에 보기

데이터 흐름은 단순합니다. Linear에서 이슈를 만들거나 고치면 webhook이 Neon의 ingest 함수로 들어갑니다. Neon은 Postgres 저장소, 인증, serverless 함수, 실시간 동기화를 제공하며, 들어온 이벤트는 events 테이블에 단계 전환, agent 실행, 세션 시작과 종료, token 사용량 같은 기록으로 쌓입니다. 새 행이 생기면 polling이나 별도 WebSocket 서버 없이 연결된 클라이언트에 즉시 전달됩니다.

Mac에서 상시 실행되는 runner가 새 티켓 이벤트를 수 밀리초 안에 감지해 가져가고, 라벨을 보고 로컬 worktree와 Modal 중 어디서 실행할지 결정합니다. runner는 코드를 쓰지 않는 현장 감독입니다. 작업을 관리하고, 컨테이너를 띄우고, 상태를 살피고, worktree를 정리합니다. reporter는 모든 thread를 듣는 무전기 역할로 단계 전환, 비용, token을 실시간으로 Neon에 보내고, Vercel에 올린 panel이 이를 받아 대시보드를 갱신합니다. 검증을 통과한 agent가 GitHub에 PR을 열면 자동 merge되거나 사람 검토를 기다리고, merge 시 GitHub webhook이 다시 Neon으로 들어와 티켓이 'Merged' 열로 이동합니다.

저장소를 처음 연결할 때는 onboarding agent가 Modal sandbox에서 저장소를 clone해 설치 명령과 검증 명령을 추론한 뒤 .factory/setup.json 파일을 담은 설정 PR을 올립니다. 테스트용 저장소에서는 bun install --frozen-lockfile과 lint, test, typecheck, build 명령이 생성됐고, 이 PR을 merge하면 저장소가 Ready 상태가 됩니다. 이 공장을 만들고 다듬는 데 LLM API token 비용이 약 $3,000 들었으며, 아직 버그가 남아 있는 진행 중인 프로젝트라는 점도 밝혀 두고 있습니다.

정리: 무엇부터 해 볼까

이 구조가 보여 주는 요점은 agent를 더 똑똑하게 만드는 것이 아니라, 사람이 개입할 지점을 세 곳으로 좁혔다는 데 있습니다. 티켓을 쓰는 순간, 모호한 티켓에 답하는 순간, 확신이 낮거나 증거가 부족한 PR을 검토하는 순간입니다. 그 사이의 조사, 구현, 검증, PR 생성은 agent에게 맡기되, 검증 증거가 없으면 merge를 막는 규칙으로 통제권을 지킵니다.

전체를 한 번에 옮길 필요는 없습니다. 다음 순서로 작게 시작해 볼 수 있습니다.

  • 이슈 설명을 구체적이고 테스트 가능하게 씁니다. 모호한 티켓은 triage에서 멈추고 사람을 기다리게 됩니다.
  • 저장소에 설치 명령과 lint, test, typecheck, build 명령을 기계가 읽을 수 있는 설정 파일로 정의합니다.
  • 자동 merge는 CI 통과, 검사 통과, agent의 높은 확신, 리뷰 bot 통과를 모두 만족할 때만 허용하고 보호된 branch와 함께 씁니다.
  • 병렬 agent를 로컬에서 돌린다면 git worktree로 작업 디렉터리를 분리합니다.
  • 화면 검증을 맡길 sandbox에는 Chromium 같은 브라우저 의존성을 미리 넣습니다.
  • 브라우저 테스트는 코딩 agent의 context에 스크린샷을 쌓는 대신 전용 테스트 agent에 넘기는 방식을 검토합니다.
  • 클라우드 sandbox에는 유휴 시 휴면 시간을 설정해 답을 기다리는 동안 비용이 새지 않게 합니다.

이 공장의 코드는 오픈소스로 공개돼 있으므로, 설계도를 참고해 자신의 팀에 맞는 개입 지점을 정하는 데서 출발하면 됩니다.