코딩 도구로 알려진 Claude Code가 영상 편집도 대신할 수 있습니다. 편집 앱을 한 번도 열지 않고 터미널(명령어를 입력하는 창)에서 prompt(AI에게 내리는 지시문) 7개를 차례로 넣어, 말실수와 11초짜리 긴 침묵이 섞인 1분 53초 날것 영상을 46초로 다듬고 자막과 YouTube 기준 음량(-14 LUFS)까지 맞춘 사례가 있습니다. 같은 방식으로 38분짜리 원본을 17분 완성본으로 만든 긴 영상 사례도 있는데, 이전에는 손으로 1.5~2일이 걸리던 작업이었습니다. 다만 핵심은 "한 줄로 다 시켜라"가 아니라, 작업을 잘게 나누고 단계마다 검증 파일을 남기게 하는 데 있습니다. 1인 제작자가 그대로 따라 할 수 있도록 순서를 정리합니다.
한 줄 prompt로 시키면 무엇이 빠지는가
가장 먼저 떠오르는 방법은 "raw.mp4에서 죽은 구간과 재촬영을 잘라 edited.mp4로 저장해 줘" 한 줄입니다. 실제로 이렇게 시키면 Claude Code는 파일을 살피고, 오디오를 뽑고, Whisper(OpenAI의 음성 인식 모델)로 전사하고, "Retake(다시)" 같은 표시 문구를 찾아 잘라낸 영상을 내놓습니다. 겉보기에는 성공입니다.
그러나 결과물을 재어 보면 문제가 드러납니다.
| 항목 | 한 줄 prompt 결과 | YouTube 기준 |
|---|---|---|
| 통합 음량 | -22.2 LUFS | -14 LUFS |
| 차이 | 약 8dB 작음 | - |
| 컷 목록 | 없음 | - |
| 검증된 전사 파일 | 없음 | - |
LUFS는 사람이 느끼는 소리 크기를 재는 단위로, YouTube는 -14 LUFS를 기준으로 삼습니다. 한 줄 방식은 음량을 전혀 맞추지 않을 뿐 아니라, 어디를 왜 잘랐는지 확인할 기록을 남기지 않습니다.
더 위험한 것은 조용한 실패입니다. 이전 시험에서는 Whisper가 마지막 18초의 말을 통째로 빠뜨렸는데도 오류 없이 넘어갔고, Claude는 "완료"라고 보고했습니다. 또 다른 단계에서는 영상과 소리를 서로 다른 지점에서 잘라 소리가 영상보다 약 2프레임 앞서는 일이 있었는데, 자체 점검은 이것도 통과시켰습니다. 결과를 사람이 처음부터 끝까지 보며 확인한다면 자동화의 의미가 없습니다. 그래서 규칙을 파일로 적고, 모든 prompt에 스스로 확인하라는 문장을 붙이고, 단계마다 읽을 수 있는 산출물을 남기게 하는 구조가 필요합니다.
준비 단계: 도구 점검과 시험 렌더링
Step 0은 빈 폴더에서 시작합니다. prompt 하나로 Claude Code가 시스템을 살펴 없는 것만 설치하게 합니다. 점검 대상과 설정은 다음과 같습니다.
- FFmpeg, FFprobe, Python 3 설치 여부 확인
- 프로젝트 폴더 안에 .venv 가상 환경을 만들어 시스템 Python을 건드리지 않음
- 하드웨어를 감지해 Apple Silicon Mac에는 mlx-whisper, Intel Mac이나 Windows에는 faster-whisper 설치
- Whisper large-v3-turbo 모델(약 1.5GB) 내려받기와 자동 시험 스크립트 실행
Whisper는 이 편집 엔진의 '귀'입니다. 단어 하나하나의 시작과 끝 시각을 내놓기 때문에 Claude가 어디서 말이 멈추고 어디를 잘라야 하는지 알 수 있습니다. 이 사례에서는 개인 설정이나 hook, plugin이 끼어들지 않도록 Claude Code를 안전 모드로 실행했는데, 처음 설정할 때 따라 할 만한 방법으로 보입니다.
자막과 음량까지만 맞출 생각이면 여기까지로 충분합니다. 제목 카드나 하단 자막 띠 같은 motion graphic까지 원한다면 HyperFrames도 같이 설치합니다. HyperFrames는 HeyGen이 공개한 무료 오픈소스 framework로, HTML, CSS, SVG로 만든 웹 페이지를 영상 프레임으로 렌더링합니다. Node.js 22 이상이 필요하고 npx 명령으로 skill을 설치하며, 설치 직후 'Ready'라는 글자가 뜨는 2초짜리 시험 카드를 렌더링해 동작을 확인합니다. 앞서 말한 17분짜리 영상에서는 Claude Opus 5.5가 이런 디자인 프레임 61개의 웹 페이지를 직접 썼습니다.

▲ 단계마다 기록을 남기는 편집 순서
prompt 7개로 진행하는 편집 순서
Step 0부터 Step 6까지 prompt 7개가 핵심 컷 단계입니다. 각 단계는 반드시 파일을 남깁니다.
| 단계 | 하는 일 | 남기는 파일 |
|---|---|---|
| 0 | 도구 점검과 설치 | .venv, 시험 결과 |
| 1 | 편집 규칙과 이름 사전 작성 | rules.md, names.md |
| 2 | 단어 단위 전사와 누락 검증 | transcript.json |
| 3 | 음량 기준으로 무음 제거 | cut.py, cuts.json, tight.mp4 |
| 4 | 재촬영·말더듬 제거와 재전사 검증 | cut.mp4, cuts.md |
| 5 | 이름 교정과 자막 생성 | captions.srt |
| 6 | 음량 정규화와 최종 조립 | edited.mp4, 요약 보고서 |
Step 1: 규칙을 Markdown으로 적기
프로젝트마다 폴더를 만들고 원본을 raw.mp4로 넣습니다. prompt 하나로 rules.md와 names.md 두 파일을 만듭니다. rules.md에는 다음과 같은 규칙이 들어갑니다.
- 1.0초를 넘는 멈춤은 짧은 숨 길이로 줄임
- 단어 사이 간격은 최대 0.3초
- 재촬영이 있으면 마지막 것만 남김
- 잘못 시작한 문장, "음", "어" 같은 군말 제거
names.md는 철자 사전입니다. 제작자 이름, 채널명, "Claude Code"처럼 음성 인식이 자주 틀리는 고유 명사의 정답 철자를 적어 둡니다. Claude Code는 실행할 때마다 rules.md를 새로 읽으므로, 편집 호흡을 바꾸고 싶으면 숫자 한 줄만 고치면 됩니다.
Step 2: 전사하되 오류는 그대로 두기
.venv 안의 Whisper large-v3-turbo로 raw.mp4를 전사해 transcript.json에 모든 단어의 시작·끝 시각을 저장합니다. 이때 prompt에 "Whisper는 없는 말을 지어내거나 문장을 빠뜨릴 수 있다"고 명시하고, 소리가 있는 구간마다 대응하는 전사 텍스트가 있는지 음성 범위 검증을 시킵니다. 앞서 18초가 사라졌던 실패를 막는 장치입니다.
흥미로운 점은 이 단계에서 "CloudCode"처럼 잘못 들은 이름을 일부러 고치지 않고 둔다는 것입니다. 원본 오류를 보존해야 나중 단계에서 무엇을 어떻게 바로잡았는지 기록으로 남길 수 있기 때문입니다.
Step 3: 무음은 소리 크기로 판단
rules.md와 transcript.json을 바탕으로 죽은 구간을 자릅니다. 여기서 중요한 지시는 "멈춤 경계를 Whisper의 단어 시각이 아니라 실제 오디오 음량으로 찾아라"입니다. Whisper의 단어 경계는 침묵 구간까지 늘어져 잡히는 일이 잦아서, 파형의 소리 크기를 직접 재야 정확한 멈춤 지점이 나옵니다. Claude는 cut.py라는 Python 스크립트를 직접 써서 실행하고, 자른 시각 목록을 cuts.json에, 결과 영상을 tight.mp4에 남깁니다. 원본의 11초 침묵은 0.3초 숨 길이로 줄어듭니다.
prompt에는 "영상과 소리를 정확히 같은 프레임에서 잘라라"는 제약도 넣습니다. 2프레임 싱크 어긋남을 막는 조건입니다.
Step 4: 재촬영을 지우고 다시 들어 확인
tight.mp4에서 반복된 문장, 잘못 시작한 말, 군말을 제거해 cut.mp4를 만듭니다. 같은 문장이 여러 번 나오면 마지막 것만 남깁니다. 그다음 cut.mp4를 다시 전사해 남은 중복이 없는지 확인합니다. 이 두 번째 전사 검사가 없으면 중복 테이크가 그대로 완성본에 섞여 올라갈 수 있습니다.
모든 편집 결정은 cuts.md에 기록됩니다. 컷 번호, 원본 시각, 길이, 삭제한 단어, 자른 이유가 표로 정리되므로, 영상을 처음부터 보는 대신 이 파일을 몇 초만 훑어 확인할 수 있습니다.
Step 5: 이름 철자와 자막 줄바꿈
names.md를 기준으로 잘못 들은 이름을 바로잡고 captions.srt 자막 파일을 만듭니다. 자막은 문장 중간이 아니라 구가 끝나는 자연스러운 자리에서 줄이 바뀌도록 짧게 구성합니다. 소리를 끄고 보는 사람이 많아서 자막 품질이 중요합니다. 'probably a way back'인지 'a way back'인지처럼 애매한 부분이 있으면 Claude가 제작자에게 묻고, 확인된 철자는 names.md에 추가해 다음 프로젝트부터 다시 묻지 않게 합니다.
Step 6: 음량 정규화와 조립
cut.mp4를 최종 edited.mp4로 만들면서 통합 음량을 -14 LUFS에 맞추고, true peak(순간 최대 음량)는 -1.5 dBTP 아래로 제한해 소리가 찌그러지지 않게 합니다. 실제 결과는 -22.6 LUFS에서 -14.0 LUFS로 올라갔고 true peak는 -2.1 dBTP였습니다. 자막은 mp4 안에 소프트 자막 트랙으로 넣는 동시에 captions.srt로 따로 보관합니다. YouTube가 mp4에 내장된 소프트 자막을 무시하는 일이 잦기 때문에 srt 파일을 별도로 올려야 합니다. 마지막으로 Claude가 입력·출력 길이, 음량, 최대 음량을 비교한 요약 보고서를 내놓습니다.
결과: 113.6초가 46.5초로
| 항목 | 값 |
|---|---|
| 원본 길이 | 1분 53초(113.6초) |
| 완성본 길이 | 46초(46.5초), 약 59% 단축 |
| Claude Code 처리 시간 | 약 14분 |
| 단계마다 남는 기록 | 텍스트 또는 JSON 파일 |
긴 영상 사례에서는 하루 종일 하던 수동 편집이 4.5시간의 자율 기계 처리로 바뀌었고, 그 사이 사람이 기다릴 필요가 없었습니다. 처리 시간은 실행할 때마다 조금씩 달라지는데, Claude가 고정된 코드를 돌리는 것이 아니라 매번 Python 스크립트를 새로 쓰기 때문입니다. 짧은 영상이면 일반 Pro 요금제로도 가능하겠지만, 긴 영상을 자주 처리한다면 Max 요금제가 나을 수 있습니다.

▲ 원본과 완성본의 길이와 음량 차이
그 뒤에 이어지는 단계: 스타일, 호흡, 검수, 발행
Step 7부터 13까지는 깔끔한 컷을 완성품으로 바꾸는 단계입니다. 당장 따라 하지 않더라도 구조를 알아 두면 좋습니다.
- Step 7 스타일: frame.md 한 파일에 색상 역할, 글꼴, 1080px 격자 같은 규칙을 모아 두고 모든 그래픽이 이를 따르게 합니다. 234개 motion 예시를 모은 참고 폴더도 함께 씁니다. 시작은 색 3개, 글꼴 2개, 참고 영상 몇 개면 충분합니다.
- Step 8 호흡: pacing reader agent가 여러 테이크에 걸쳐 반복된 설명을 찾아 자를 후보를 보고서로 냅니다. 한 사례에서는 후보 16개 중 5개가 과거 결정을 근거로 자동 처리됐고, 나머지는 휴대전화로 승인했습니다. 확신이 없는 구간은 제작자가 확인할 때까지 남겨 두게 설정합니다.
- Step 9 storyboard: 렌더링 전에 프레임별 시각, 그래픽, 카메라 배치를 적은 텍스트 계획을 만들고 승인합니다. 텍스트는 1분이면 고치지만 렌더링 뒤 수정은 시간과 token을 크게 낭비합니다. 발표자 얼굴만 10초 넘게 나오지 않게 하는 규칙도 있습니다.
- Step 10 프레임과 음악: 560개 넘는 디자인 카드 자산에서 61개를 골라 배경 음악과 함께 조립했고 렌더링에 91분이 걸렸습니다. 초보자는 제목 카드 템플릿 하나를 만들어 여러 회차에 재사용하는 것부터 시작하면 됩니다.
- Step 11 검수: 만든 모델이 자기 결과를 가장 잘못 판단한다는 전제로 독립 inspector agent를 둡니다. 2,086개 프레임을 OCR로 읽어 API 키, 이메일, 개인 이름 노출을 검사했고 결과는 0건이었습니다.
- Step 12 학습: 모든 편집 결정을 pacing-preferences 파일에 기록해 같은 질문을 반복하지 않게 합니다. 대본은 문장당 평균 13.8단어였지만 실제 말은 18.1단어였다는 분석을 다음 대본 작성에 반영합니다.
- Step 13 발행: 업로드 뒤 YouTube Data API로 실제 공개 페이지의 제목, 길이, 태그 24개, 챕터를 읽어 와 로컬 메타데이터와 대조합니다. 업로드 화면이 보여 주는 값과 시청자에게 보이는 값이 다를 수 있기 때문입니다.
정리: 오늘 시작한다면 이 순서로
이 workflow의 교훈은 Claude Code가 영상을 자를 수 있느냐가 아니라, 어떻게 시켜야 믿을 수 있느냐에 있습니다. 한 줄 prompt는 음량을 맞추지 못하고 기록도 남기지 않으며, 모델은 확인을 강제하지 않으면 빠진 구간과 싱크 오류를 두고도 "완료"라고 말합니다. 단계를 나누고, 규칙을 파일로 적고, 각 단계가 검증 파일을 내게 하면 사람은 cuts.md와 보고서만 확인하면 됩니다.
편집자 없이 YouTube 영상을 만드는 1인 제작자라면 다음 순서로 시작해 볼 만합니다.
- 빈 폴더에서 Claude Code로 FFmpeg, FFprobe, Python 3, Whisper를 점검·설치하고 .venv를 씁니다.
- rules.md(멈춤 1.0초, 간격 0.3초, 마지막 테이크만 유지)와 names.md(자주 틀리는 이름 철자)를 만듭니다.
- 전사, 무음 제거, 재촬영 제거, 이름·자막, 음량 정규화를 prompt 하나씩 나눠 실행하고, 각 prompt에 결과를 스스로 검증하라는 문장을 붙입니다.
- 무음은 음량 기준으로, 영상과 소리는 같은 프레임에서 자르고, 자른 뒤 다시 전사하게 합니다.
- 완성본은 -14 LUFS와 -1.5 dBTP 이하를 확인하고, captions.srt는 YouTube에 따로 올립니다.
여기까지 익숙해진 뒤에 frame.md 스타일 파일과 HyperFrames 제목 카드 하나를 더해 보는 것이 무리 없는 확장 경로로 보입니다.


