AI coding agent가 다루는 대상이 코드와 파일을 넘어 책상 위의 카메라로 넓어지고 있습니다. $1,700짜리 Fujifilm X-T5 미러리스 카메라를 USB-C 케이블로 Mac Studio에 연결하고, Claude Code에 영어 문장으로 지시해 셔터를 누르고, film simulation(필름 특유의 색감을 재현하는 카메라 내장 색감 프로필)을 바꾸고, 새 recipe를 카메라 메모리에 써 넣고, RAW 파일을 카메라 안의 프로세서로 다시 현상하게 한 실험이 있었습니다. 셔터 작동이나 recipe 기록처럼 비교적 안전한 작업은 대부분 성공했고, firmware(기기 안에 내장된 제어 소프트웨어)를 고쳐 Fujifilm이 지원하지 않는 기능을 추가하려는 시도는 하드웨어의 벽에 막혔습니다. 이 글은 그 과정을 단계별로 따라가며 카메라 한 대로 무엇이 가능했고 어디서 멈췄는지 살핍니다.

이 실험은 비싼 카메라를 영구히 고장 낼 위험을 안고 진행됐습니다. 특히 firmware를 건드리는 부분은 모두 본인 책임으로만 시도해야 한다는 점을 먼저 밝혀 둡니다.

케이블 하나로 시작한 연결

연결 자체는 단순합니다. 카메라와 Mac Studio를 USB-C 케이블로 잇고, 카메라 메뉴의 Network/USB Setting에서 Connection Mode를 USB Tether Shooting Auto로 바꿉니다. Claude Code는 Claude 3.5 Opus 모델에 중간 수준의 추론 설정으로 실행했고, 작업 폴더를 지정한 뒤 "연결된 카메라를 찾아 현재 설정을 읽고 제어 방법을 찾아보라"는 식의 평범한 영어 문장으로 지시했습니다.

Claude는 장치의 vendor ID를 확인하고, macOS가 뒤에서 돌리는 사진 서비스가 PTP(카메라와 컴퓨터가 사진을 주고받는 표준 규약) 연결을 먼저 잡고 있다는 충돌을 알아낸 뒤, Homebrew로 오픈소스 카메라 제어 도구 gphoto2를 설치했습니다. 다시 카메라를 깨워 읽어 낸 정보는 다음과 같았습니다.

항목 읽어 낸 값
기종과 firmware Fujifilm X-T5, firmware 2.03
렌즈 Fujinon XF 23mm f/2 R WR
배터리 100%
누적 셔터 횟수 22,160회
노출 수동 모드, 1/60초, f/2.8, ISO 500
초점 AF-S 단일 초점

같은 작업을 사람이 하려면 메뉴를 여러 번 오가야 하는데, agent는 명령어 몇 줄로 카메라 상태를 통째로 읽어 냈습니다.

원격 촬영과 film simulation 전환

다음 지시는 "film simulation을 ASTIA/Soft로 바꾸고 한 장 찍어 바탕화면에 저장하라"였습니다. Claude는 해당 명령어를 내려 촬영을 실행했고, RAW(.RAF) 파일과 카메라가 처리한 JPEG 두 가지가 Mac으로 옮겨진 것을 확인했습니다. 촬영 중 카메라가 흔들리자 다시 찍으라는 지시도 그대로 처리됐습니다. 이어 ACROS 기반의 흑백 recipe로 바꿔 찍게 하자 짙은 검정과 필름 grain(입자감)이 살아 있는 고대비 흑백 사진이 나왔습니다. 카메라 다이얼에 손을 대지 않고도 설정 변경과 촬영이 양방향으로 이뤄진 셈입니다.

recipe를 조사해서 만들고 카메라에 써 넣기

Fujifilm 카메라 사용자들이 공유하는 custom recipe는 highlight tone, shadow tone, 색 채도, white balance 보정 등 수십 개 하위 메뉴를 손으로 하나씩 맞춰야 해서 입력이 매우 번거롭습니다. 실험에서는 이 작업을 통째로 Claude에게 맡겼습니다.

Claude는 sub-agent(큰 작업을 나눠 맡는 보조 agent) 여러 개를 띄워 필름 기술 자료, 커뮤니티에서 공유되는 Portra 800 recipe, 필름 스캐너의 특성을 조사했습니다. 조사 결과로 정리한 Kodak Portra 800의 특징은 따뜻한 복숭아빛 금색 피부 톤, 진하지만 자연스러운 채도, 살짝 들린 그림자, Portra 400보다 뚜렷한 grain이었습니다. 이를 바탕으로 CLAUTRA 800이라는 이름의 recipe를 만들었습니다.

설정 값
기본 simulation Classic Chrome
Dynamic Range DR400
Grain Strong, Large
Color Chrome Effect Weak
White balance 6300K, Red +1, Blue -3
Highlight / Shadow -1.5 / -0.5
Color +2~+3
Sharpness -2
Noise Reduction -4

이 recipe를 카메라의 custom 슬롯 C1에 기록하려면 카메라 연결 모드를 USB RAW Conv/Backup Restore로 바꿔야 합니다. Claude는 먼저 기존 C1~C7 설정을 백업한 뒤 CLAUTRA 800을 카메라 내부 메모리에 직접 써 넣었습니다. 무엇을 쓰든 기존 설정 백업을 먼저 하는 순서는 꼭 지키는 편이 좋습니다.

원본과 따뜻한 색감의 사진을 나란히 비교하는 거리 사진 contact sheet

▲ RAW와 recipe 결과의 비교

얼굴을 찾아 찍고, 밝기를 재서 다시 찍기

카메라를 다시 USB Tether Shooting Auto 모드로 돌리고 책상에 올려 둔 채 "CLAUTRA 800으로 셀프 포트레이트를 찍어 달라"고 했습니다. Claude는 live preview에서 얼굴을 인식하는 Python 스크립트를 만들어 얼굴이 화면 안에 안정적으로 자리 잡으면 카운트다운 후 셔터를 누르게 했습니다. 소프트웨어가 노출을 모두 바꿀 수 있도록 ISO 다이얼은 C, 셔터 속도 다이얼은 T 위치에 두었습니다.

찍힌 사진은 Claude가 multimodal(이미지와 글을 함께 다루는) 기능으로 직접 분석했습니다. 얼굴 밝기의 중앙값이 255 단계 중 113으로, Portra 느낌의 피부 톤 목표치인 약 170에 못 미쳐 노출 부족이라고 판단했고, ISO를 800에서 1250으로 올려 바로 다시 찍었습니다. 두 번째 사진은 피부 밝기가 목표에 맞았고, 강한 softbox 조명에도 highlight가 날아간 영역은 화면의 0.06%에 그쳤습니다. 다만 수치상으로는 무시할 수준이어도 실제 사진에서는 뺨의 밝은 쪽이 눈에 띄게 날아간 것으로 보였다는 점은 참고할 만합니다. 숫자 기준의 판단과 사람의 눈이 늘 일치하지는 않는다는 뜻으로 보입니다.

공식 소프트웨어 대신 카메라 프로세서로 RAW 일괄 변환

Fujifilm 사용자 사이에는 공식 RAW 현상 프로그램 FUJIFILM X RAW STUDIO에 대한 불만이 오래됐습니다. 이 프로그램은 USB로 연결한 카메라의 내부 프로세서로 현상하는 구조인데, 느리고 불편하며 화면 구성도 1996년 소프트웨어 같다는 평이 있습니다. 실험에서는 이 프로그램을 열지 않고 같은 일을 Claude가 하게 했습니다.

먼저 밝혀진 제약이 하나 있습니다. Fujifilm 카메라의 내장 RAW 변환은 자사 RAW 파일만 받고, Sony의 ARW 파일이나 JPEG는 처리하지 못합니다. 그래서 X-T5로 거리 사진을 새로 찍은 뒤 작업을 진행했습니다. Claude는 SD 카드의 132_FUJI 폴더에서 JPEG가 짝지어진 RAW 48장을 찾았고, 그중 마지막 외출에서 찍은 37장을 골라 냈습니다. PTP/USB 전송의 한계 때문에 일괄 복사 대신 한 장씩 로컬 드라이브로 옮겼습니다.

변환에는 한 개발자가 공개한 오픈소스 도구 fujicli를 썼습니다. Fujifilm의 USB 규약으로 카메라와 통신하는 도구로, Claude가 GitHub에서 복제해 로컬에서 빌드했습니다. 카메라를 USB RAW Conv/Backup Restore 모드로 바꾸자 첫 장이 CLAUTRA 800 recipe로 2.7초 만에 카메라 하드웨어에서 변환됐고, 나머지 36장이 차례로 처리됐습니다. 컴퓨터의 RAW 파일을 카메라의 X-Processor 5로 보내 현상하고 완성된 JPEG를 다시 받아 오는 흐름이 명령어만으로 돌아간 것입니다.

Claude는 원본 RAW와 CLAUTRA 800 결과를 나란히 놓은 여러 쪽짜리 PDF contact sheet(여러 장을 한눈에 비교하는 축소판 모음)도 만들었습니다. 거리 풍경, 반사, 도심 전경에서 더 따뜻한 톤과 넓어진 dynamic range가 확인됐습니다.

CineStill 800T 도전, firmware 분석과 그 한계

여기서 더 어려운 과제가 주어졌습니다. 밤의 주유소 사진으로 유명한 CineStill 800T 필름의 느낌을 재현하되, 빛 주위에 붉게 번지는 halation과 밝은 부분의 부드러운 bloom을 실제로 넣는 것입니다. CineStill 800T는 Kodak의 영화용 필름 Vision3 500T에서 remjet이라는 보호층을 벗겨 낸 제품이고, 이 층이 없어서 강한 광원 주변에 붉은 번짐이 생깁니다. 문제는 halation도 bloom도 Fujifilm 카메라 메뉴 어디에도 없는 항목이라는 점입니다. 그래서 카메라 firmware를 직접 고치는 길을 알아보기로 했습니다.

안전 절차와 법적 검토

firmware를 잘못 건드리면 카메라가 영구히 멈출 수 있어 엄격한 안전 절차가 먼저였습니다. 별도의 Claude 조사 agent가 미리 만들어 둔 안전 문서, 백업 점검표, 작업 방법 문서를 바탕으로 Claude는 카메라 설정을 두 번 백업하고, 공식 firmware의 SHA-256 해시를 기록하고, SD 카드를 그대로 복제했습니다. 공식 Fujifilm Tether App 설치 파일에서 드라이버 구성 요소도 확보했습니다. 그런 다음 NSA가 공개한 오픈소스 reverse engineering(완성된 프로그램을 분석해 구조를 알아내는 작업) 도구 Ghidra 11.0.1을 GitHub에서 내려받아 X-T5 firmware 파일을 decompile(기계어를 사람이 읽을 수 있는 코드로 되돌리는 작업)했습니다.

firmware 분석이 법에 어긋나지 않느냐는 물음에 Claude는 미국 DMCA 1201조의 우회 금지 조항을 설명하면서 상호 운용성 연구에 대한 예외가 있다는 점과, 그와 별개로 보증이 무효가 되고 사용 약관에 저촉될 수 있다는 점을 함께 짚었습니다. 법적으로 회색 지대라는 것이 실험의 결론이었습니다.

분석이 밝힌 구조와 막힌 지점

Claude가 세운 계획은 최신 firmware 내려받기, 선명도 처리 코드 찾기, Fujifilm의 checksum 잠금 우회, 붉은 halation을 만들도록 코드 수정, 카메라에 다시 쓰기의 다섯 단계였습니다. 그러나 decompile 결과가 계획을 바꿔 놓았습니다.

  • 화상 처리 코드의 load 주소는 0x82be000이었고, 저장된 포인터의 42%가 정확히 함수 시작점에 떨어졌습니다.
  • X-T5는 RTOS와 Linux 4.9.92 커널 두 운영체제를 동시에 돌리며, Socionext 설계의 ARM 4 core 위에서 동작합니다. Linux 커널과 실행 파일이 압축된 블록은 약 20MB였습니다.
  • 정작 화상 처리 pipeline은 접근 가능한 firmware 코드에 있지 않고, 문서가 전혀 공개되지 않은 Fujifilm 전용 ASIC(특정 용도로 설계된 전용 칩) 하드웨어에서 실행됐습니다.

공개 문서도, 수정한 코드를 안전하게 시험할 에뮬레이터도 없는 상태에서 전용 칩을 겨냥한 바이너리 수정은 카메라를 영구히 망가뜨릴 위험이 지나치게 크다는 것이 Claude의 결론이었습니다. Claude가 수정한 firmware를 카메라에 쓰는 단계까지 가지 않고 멈춘 것은 다행스러운 대목입니다.

카메라 메뉴에 없는 halation을 얻기까지 거친 경로 예 아니오 CineStill 800T 느낌 재현 목표 설정 2회 백업·SD 카드 복제firmware 해시 기록 Ghidra로 firmware decompile 안전한 수정 경로? 코드 수정 뒤카메라에 다시 쓰기 1단계 카메라 프로세서로색감·grain 현상 2단계 Python·OpenCV로halation·bloom 추가 contact sheet로 나란히 비교
▲ 카메라 메뉴에 없는 halation을 얻기까지 거친 경로

이 대목에서 또 하나 눈에 띄는 일이 있었습니다. 대안으로 두 단계 halation 방식을 찾아보자고 지시하자 Anthropic의 자동 안전 guardrail이 작동해 Claude Code 세션이 일시 정지됐습니다. 작업은 firmware 수정을 제외한 흐름으로 새 터미널 세션을 열어 이어 갔습니다.

가로등 주변에 붉은 번짐이 생긴 밤거리 사진과 두 단계 흐름을 그린 메모

▲ 카메라와 컴퓨터로 나눈 두 단계 처리

두 단계 pipeline으로 우회한 결과

최종 경로는 두 단계로 나뉘었습니다.

단계 실행 위치 하는 일
1단계 X-T5 내부 색감과 grain 프로필을 카메라 프로세서로 현상
2단계 macOS Python과 OpenCV 스크립트로 halation과 bloom 추가

Claude는 이 pipeline을 37장 전체에 56초 만에 적용하고 RAW와 CineStill 800T 결과를 나란히 비교한 contact sheet를 만들었습니다. 가로등, 건물 반사, 노출이 강한 영역 주위로 붉은 halation과 흰 bloom이 뚜렷하게 나타났습니다. 네온 간판과 가로등 주변은 꽤 그럴듯했지만, 흐린 낮에 찍은 사진에서는 효과가 다소 과했습니다. 다만 이런 강도 조절은 영어 문장 한 줄로 Claude에게 바꾸게 할 수 있다는 점이 장점으로 꼽혔습니다. 더 나아가 실제 필름 scan을 기준으로 놓고 Claude가 recipe 값을 반복 조정해 맞춰 가는 reinforcement learning(결과를 평가해 되풀이 개선하는 학습) 방식의 loop도 제안됐는데, 이는 아직 아이디어 단계입니다.

정리와 독자가 할 일

이 실험이 보여 준 것은 두 가지입니다. 첫째, AI coding agent는 USB와 표준 규약, 오픈소스 도구를 조합해 실제 하드웨어와 양방향으로 통신하며 촬영, 설정 기록, 하드웨어 현상까지 처리할 수 있습니다. 둘째, 그 능력은 제조사가 공개한 경계 안에서 끝납니다. 문서화되지 않은 전용 칩 앞에서는 가장 뛰어난 분석 도구도 안전한 수정 경로를 찾지 못했고, 결국 카메라와 컴퓨터가 역할을 나누는 하이브리드 방식이 현실적인 답이었습니다. 최근 Hasselblad에 연속 autofocus를 넣거나, 옛 Canon 카메라를 디지털 필름 카메라처럼 꾸미거나, Fujifilm 카메라 화면에서 Doom을 돌리는 시도가 이어지는 흐름을 보면, 이런 하드웨어 실험은 앞으로 더 늘어날 것으로 보입니다.

Fujifilm 카메라로 비슷한 시도를 해 보려는 독자가 지킬 만한 순서는 다음과 같습니다.

  1. 촬영 제어에는 USB Tether Shooting Auto, recipe 기록과 RAW 변환에는 USB RAW Conv/Backup Restore 모드로 카메라 연결 모드를 맞춥니다.
  2. macOS에서 gphoto2가 카메라를 잡지 못하면 ptpcamerad 같은 시스템 PTP 서비스가 먼저 연결을 잡고 있는지 확인합니다.
  3. 소프트웨어가 노출을 바꾸게 하려면 ISO 다이얼은 C, 셔터 속도 다이얼은 T에 둡니다.
  4. 어떤 recipe를 쓰든 C1~C7 설정을 먼저 백업합니다. 공식 프로그램 대신 fujicli 같은 도구를 쓸 때도 마찬가지입니다.
  5. firmware나 저수준 하드웨어 실험은 설정 전체 백업과 SD 카드 복제, firmware 파일의 checksum 확인을 마친 뒤에만 고려하고, 그래도 카메라가 망가질 수 있다는 점을 받아들여야 합니다. 남이 만든 안전 문서에 기대기보다 자기 기종에 맞는 안전 조사를 agent에게 따로 시키는 편이 낫습니다.
  6. 카메라 안에서 재현할 수 없는 광학 효과는 카메라 현상과 컴퓨터 스크립트를 나누는 두 단계 pipeline으로 접근합니다.

카메라를 바꾸는 가장 안전한 방법은, 결국 바꿀 수 있는 것과 없는 것을 agent가 먼저 가려내게 하는 것이었습니다.