영상 편집에서 가장 많은 시간을 잡아먹는 일은 몇 시간 분량의 촬영본을 돌려 보며 쓸 장면을 고르고, 타임라인에 하나씩 잘라 붙이는 손일입니다. 이 손일을 AI에 통째로 넘긴 작업 방식이 있습니다. 영상 한 편의 편집을 Claude Code 세션과 Claude Code로 직접 만든 전용 도구만으로 끝냈고, 그동안 Final Cut Pro는 한 번도 열지 않았습니다. 사람은 소파에 앉아 가편집본을 보며 고칠 곳을 말로 남기고, 자르고 붙이고 보조 화면을 고르는 일은 AI가 맡습니다. 눈여겨볼 점은 AI 편집 서비스를 새로 구독한 것이 아니라 Claude Code로 자기 작업에 꼭 맞는 편집 도구를 만들었다는 데 있습니다. 어떤 도구를 어떻게 만들었고 사람의 역할은 어떻게 바뀌었는지, 비슷하게 시도하려면 무엇부터 하면 되는지 정리합니다.
편집의 병목은 손과 몸에 있다
영상 제작에서 편집은 가장 힘들고 오래 걸리는 단계입니다. 편집에 들인 공은 영상의 성과와 밀접하게 이어지는 만큼 대충 넘길 수도 없습니다. 그런데 실제로는 창의적인 판단보다 클립을 손으로 다루는 일에 훨씬 많은 힘이 들어갑니다. 병목은 두 가지로 나눠 볼 수 있습니다.
- 시간: 몇 시간 분량의 촬영본을 검토하고, 쓸 컷을 골라 타임라인에 정확히 배치해야 합니다. 여러 해 동안 쌓인 B-roll(말하는 장면 사이에 끼워 넣는 보조 화면)이 많을수록 맞는 장면을 찾아 넣는 수고도 커집니다.
- 몸: Final Cut Pro 같은 데스크톱 편집 프로그램은 성능이 뛰어나지만 책상 앞에 앉거나 서서 키보드와 마우스로 다뤄야 합니다. 오래 쓰면 몸에 무리가 가고 자세와의 씨름이 끝나지 않습니다.
AI가 가장 잘하는 일이 지루하고 반복적인 작업을 덜어 주는 것이라고 보면, 편집의 기계적인 부분을 AI에 넘기고 사람은 기획과 아이디어에 시간을 쓰는 편이 자연스러운 선택입니다.
편집 프로그램 대신 편집 도구를 만드는 Claude Code
Claude Code는 Anthropic이 만든 명령줄 도구(CLI)로, 목표를 받으면 여러 단계의 프로그래밍 작업을 스스로 처리하는 AI agent입니다. 컴퓨터에 설치해 두고 일상 언어로 지시하면 이를 스크립트 작성, 폴더 관리, 의존성(실행에 필요한 다른 소프트웨어) 설치 같은 실제 작업으로 바꿔 실행합니다. 터미널에서 직접 쓸 수도 있고, 휴대폰에서 여는 맞춤 웹 앱을 거쳐 간접적으로 쓸 수도 있습니다.
이 작업 방식의 출발점은 상용 편집 프로그램에 원하는 기능이 생기기를 기다리지 않는 데 있습니다. 상용 편집 프로그램 없이 영상을 편집할 전용 도구 묶음을 만들어 달라고 Claude Code에 요청하자, Claude Code는 대화로 내리는 지시와 영상 처리 과정을 잇는 백엔드 스크립트와 브라우저 화면을 만들었습니다.
깊은 프로그래밍 지식이 없어도 Claude Code로 이런 도구를 만들 수 있다는 것이 이 방식의 전제입니다. 다만 소프트웨어 개발 경험이 있으면 전체 구조를 설계할 때 한발 앞서 시작할 수 있다는 점은 감안할 필요가 있습니다.
직접 만든 편집 도구 네 가지
Claude Code가 만든 도구는 내 컴퓨터에서 돌아가는 웹 앱이라 브라우저로 엽니다. 대본 분석, 오디오 컷 조정, 말하는 장면을 담은 A-roll의 대사 컷을 맡는 화면이 따로 있고, 핵심 도구는 다음과 같습니다.
| 도구 | 하는 일 |
|---|---|
| 대본 편집기 | 왼쪽에 영상 미리보기, 오른쪽에 말한 내용을 나란히 보여 주고, 글자를 지우면 그 부분의 영상이 함께 잘림 |
| 컷 조정 도구 | 컷을 순서대로 늘어놓고 오디오 파형의 손잡이를 끌어 컷 경계와 crossfade(앞뒤 소리를 겹쳐 잇는 처리)를 다듬음 |
| B-roll 라이브러리 | 모든 클립에 AI가 만든 화면 설명, 대사, 시점, 촬영 각도를 붙여 색인 |
| 검토 화면 | 가편집본을 TV나 휴대폰에서 재생하고 음성으로 시점별 수정 메모를 남김 |
원본 영상의 색 보정, 노출 조정, 음량 맞추기, LUT(색감을 한 번에 바꾸는 색 변환표) 적용도 이 도구 묶음이 직접 처리합니다.
컷 조정 도구는 책상을 떠나서도 컷 경계를 다듬으려고 만든 것입니다. 휴대폰이나 TV에서 파형을 끌어 컷을 미세하게 조정하는 기능은 Final Cut Pro에 기본으로 있었으면 하고 오래 바랐던 것인데, Claude Code는 이를 한 번에 작동하는 웹 앱으로 만들었습니다.
모든 기능을 갖출 필요도 없습니다. 이 도구 묶음은 전문 후반 작업 기능을 하나하나 흉내 내지 않고, 이 작업 흐름에 꼭 필요한 기능만 담았습니다. 수십 년 전 £1,000이 넘던 데스크톱 편집 프로그램과 달리, 필요한 만큼만 만들어 쓰는 가벼운 도구입니다.
▲ 직접 만든 편집 도구 묶음
사람은 편집 감독, 수정은 말로
이 방식에서 사람의 역할은 보조 편집자를 지휘하는 감독에 가깝습니다. 창작 방향은 사람이 정하고, 기술적인 실행은 AI가 맡습니다. 검토는 다음 순서로 진행됩니다.
- 검토 화면에서 가편집본을 TV나 휴대폰으로 재생합니다.
- 보면서 고칠 곳을 말합니다. 음성 인식 모델 Whisper가 이를 받아 적어 시점이 붙은 메모로 남깁니다.
- Claude Code가 메모를 읽고 프로젝트 타임라인에 바로 반영합니다. ‘이 B-roll을 내가 나오는 다른 장면으로 바꿔 줘’, ‘34초쯤에 전선을 납땜하는 근접 장면을 넣어 줘’, 장면을 줄여 달라는 요청 같은 것들입니다.
B-roll 고르기도 AI가 맡습니다. Claude Code는 대본의 말과 B-roll 라이브러리의 화면 설명을 맞춰 보고, 알맞은 보조 화면을 타임라인에 자동으로 끼워 넣습니다. 바닥에 앉아 있다가 쪼그려 앉고 다시 일어서는 자세 변화를 설명하는 대목에서는, 그 말에 꼭 맞는 촬영 클립을 찾아 필요한 부분을 잘라 낸 뒤 제자리에 배치했습니다.
입력 장치도 키보드와 마우스에서 벗어났습니다. 눈앞에 터미널 화면과 상태 문구를 띄우는 스마트 안경, 손목에 차는 4키짜리 Bluetooth macropad(자주 쓰는 명령을 키에 지정해 쓰는 작은 입력 장치), 아주 작은 실물 키보드와 스마트폰으로 명령을 내리고 진행 상황을 봅니다. 스마트 안경과 휴대 기기에서 돌아가는 소프트웨어도 이 작업 흐름에 맞춰 직접 만든 것입니다.
집 컴퓨터를 개인 서버로 두고 책상을 떠난다
이 구성의 중심은 집에 있는 데스크톱 컴퓨터입니다. Tailscale(여러 기기를 하나의 사설망처럼 안전하게 잇는 mesh VPN 서비스)이 휴대폰, 스마트 안경, 휴대용 기기를 이 컴퓨터에 연결합니다. 복잡한 포트 포워딩(공유기에서 외부 접속 통로를 여는 설정) 없이도 인터넷만 닿으면 어디서든 집 컴퓨터의 웹 앱과 영상 파일에 안전하게 접속할 수 있습니다. 데스크톱은 화면 없이 돌아가는 개인 서버가 되고, 휴대폰과 착용형 기기는 그 서버의 웹 앱을 들여다보는 창 역할만 합니다.
덕분에 소프트웨어 개발이나 영상 렌더링처럼 무거운 작업은 집 컴퓨터에 맡겨 둔 채, 소파에 앉아 있거나 정원을 걸으면서도 작업을 지휘할 수 있습니다. 햇볕이 드는 남향의 더운 작업실에 갇혀 있는 대신, 정원 테라스나 시원한 침실 소파에서 스마트 안경과 TV로 일하는 식입니다.
소프트웨어를 쓰는 구조도 달라집니다. 지금의 일반적인 구조는 데스크톱과 모바일이 서로 다른 생태계로 나뉘고, 그 사이를 유료 클라우드 구독이 잇는 형태로 볼 수 있습니다. 이 구성은 그 구조를 뒤집습니다. 외부 클라우드 요금과 특정 플랫폼에 묶이는 문제, 상용 소프트웨어 구독이 사라지고, 원본 영상과 프로젝트 데이터는 모두 내 컴퓨터에 남아 직접 관리할 수 있습니다. 구독형 소프트웨어(SaaS)를 사서 쓰던 자리를 직접 만든 개인용 도구가 대신하는 셈입니다.
▲ 집 컴퓨터 중심의 원격 편집
마무리 손질 5%에서 0%로
앞선 시도에서는 편집의 약 5%를 Final Cut Pro에서 마무리해야 했습니다. 이번에는 그 5%마저 없어, 영상 한 편이 전문 편집 프로그램을 한 번도 거치지 않고 모두 AI의 실행으로 완성됐습니다.
마무리 손질이 5% 남아 있던 앞선 영상도 반응은 좋았습니다. YouTube Studio 기준으로 공개 뒤 첫 23시간 39분 동안의 수치는 다음과 같고, 최근 영상 10편과 비교한 순위에서는 24시간 안에 1위에 올랐습니다.
| 항목 | 수치 |
|---|---|
| 조회수 | 2만 3,800회 |
| 썸네일 클릭률 | 7.1% |
| 평균 시청 시간 | 5분 29초 |
시간도 눈여겨볼 대목입니다. 이 편집 도구 전체를 Claude Code로 만드는 데 든 시간이 긴 영상 한 편을 손으로 편집하는 시간보다 짧았습니다.
고급 후반 작업은 아직 전문 프로그램의 몫
이 방식이 모든 편집을 대신하지는 않습니다. 할리우드 영화나 상업 스튜디오의 복잡한 고급 후반 작업에는 여전히 전문 편집 프로그램이 필요합니다. Final Cut Pro 같은 상용 프로그램도 여전히 훌륭한 소프트웨어이고, 아쉬운 점은 기능보다 책상에 묶이는 데스크톱 중심 설계에 있습니다. 개인이 만드는 온라인 영상이라면 전문 편집 프로그램을 건너뛸 수 있다는 것이 이 사례가 보여 준 범위입니다.
AI가 맡는 것은 실행까지입니다. 창작의 관점과 개인의 이야기, 직접 겪은 경험에서 나오는 진정성은 사람의 몫으로 남아야 합니다. 편집을 AI에 맡길수록 더 분명히 지켜야 할 선으로 보입니다.
편집 다음은 그래픽 디자인과 CAD
말로 지시하고 감독하는 방식은 영상 편집에서 그치지 않을 것으로 보입니다. 그래픽 디자인이나 CAD(컴퓨터를 이용한 설계)처럼 컴퓨터로 하는 다른 창작 분야에서도, 화면은 지금 상태를 보여 주는 역할을 맡고 무엇을 바꿀지는 대화로 전하게 될 수 있습니다. 단축키를 외우거나 깊은 메뉴를 뒤지는 대신 원하는 것을 말하면 AI가 그 의도를 실제 조작으로 옮기는 식입니다. 이 흐름이 이어지면 컴퓨터로 하는 일 전반이 이런 대화형 agent 자동화로 바뀔 수 있습니다.
내 업무에 적용하는 순서
핵심은 상용 소프트웨어가 바뀌기를 기다리지 않고, Claude Code로 내 작업의 병목에 꼭 맞는 작은 도구를 만드는 것입니다. 영상 편집이 아니어도 반복 작업이 많은 비개발 업무라면 다음 순서로 시작해 볼 수 있습니다.
- 작업에서 시간을 가장 많이 잡아먹는 반복 단계를 하나 고릅니다.
- 내 컴퓨터의 로컬 저장소에서 Claude Code에 그 단계만 처리하는 작은 웹 도구를 만들어 달라고 요청합니다. 상용 프로그램의 기능을 모두 따라 할 필요는 없습니다.
- 영상 작업이라면 말한 내용을 글자로 바꿔, 글자를 지우면 영상이 잘리는 대본 기반 가편집부터 만들어 봅니다.
- 쌓아 둔 자료는 multimodal(글, 이미지, 영상을 함께 이해하는) AI 모델로 설명을 붙여 색인하고 글로 검색할 수 있게 합니다.
- Tailscale로 데스크톱과 휴대 기기를 이어, 포트 포워딩 없이 어디서든 로컬 웹 앱과 파일에 접속합니다.
- 무엇을 바꿀지는 사람이 말로 정하고, 시점과 프로젝트 파일을 고치는 일은 AI에 맡겨 의도와 실행을 나눕니다.
책상 앞 작업 환경, AI agent 연결, 내 컴퓨터를 중심에 둔 작업 방식을 함께 다시 살펴볼 만합니다. 새 편집 프로그램을 구독하기 전에 지금 내 작업에 꼭 필요한 기능이 무엇인지부터 적어 보는 것이 첫걸음이 될 수 있습니다.