AIコーディングエージェントができることは、もはやソフトウェアを書くことだけではありません。最近行われた実機での実験では、Mac Studioのターミナル上で動くAnthropicのClaude Codeが、約$1,700のミラーレスカメラFUJIFILM X-T5を1本のUSB-Cケーブル越しに制御しました。平易な英語のプロンプトで指示を受けたエージェントは、カメラの状態を読み取り、シャッターを切り、フィルムシミュレーションを切り替え、独自のフィルムレシピを調べて作成してカメラのメモリに書き込み、コンピュータービジョンで自らの露出を補正し、カメラ内蔵プロセッサーでRAWファイルを一括現像しました。一方で、越えられない壁にもぶつかりました。富士フイルムがメニューに用意していない効果を追加するよう求めると、カメラのファームウェアを掘り下げた末に、画像処理パイプラインは文書化されていないハードウェア上にあり安全に改変できない、という結論に至ったのです。この結果は、エージェントが今日の時点で物理デバイスに対して何ができて何ができないかを示す、有用な地図になっています。

AIエージェントにカメラと対話させる

表面的には、セットアップは単純でした。X-T5を標準的なUSB-CケーブルでMac Studioに接続し、Claude CodeはClaude 3.5 Opusモデルを中程度の推論設定で動かしました。カメラ側では、ネットワーク/USB設定の接続モードを「USBテザー撮影 AUTO」に設定する必要がありました。

そこからエージェントに自然言語で、接続されたカメラを認識し、設定を報告し、制御方法を見つけ出すよう指示しました。エージェントはデバイスのベンダーIDを特定し、macOSのバックグラウンドの写真サービスがすでにPTP(Picture Transfer Protocol、カメラとコンピューターがUSB経由で画像やコマンドをやり取りするための標準規格)でカメラを占有していることに気づき、パッケージマネージャーのHomebrew経由でオープンソースのコマンドラインカメラユーティリティgphoto2をインストールしました。競合を解消してカメラを再検出した後、エージェントは完全なステータスレポートを読み出しました。

項目 報告された値
ボディ FUJIFILM X-T5、ファームウェア2.03
レンズ FUJINON XF 23mm f/2 R WR
バッテリー 100%
累計シャッター回数 22,160回
露出 マニュアル、1/60秒、f/2.8、ISO 500
フォーカス シングル AF-S
出力 現在のフィルムシミュレーションを適用したJPEG

この工程は見た目以上に重要です。エージェントは富士フイルムのカメラ専用のプラグインに頼ったわけではありません。汎用のプロトコルと既存のオープンソースツールを使い、行く手を阻んでいた唯一の障害を自力で診断したのです。

シャッター、フィルムシミュレーション、ダイヤルには一切触れず

最初の制御テストでは、カメラのフィルムシミュレーションをASTIA/ソフトに切り替えて撮影し、結果をMacのデスクトップに保存するよう指示しました。エージェントはコマンドを発行してフレームを撮影し、RAWファイル(.RAF)と現像済みJPEGの両方が転送されたことを確認しました。最初の一枚がぶれていたため、求めに応じてきれいに撮り直しています。2つ目の指示ではカメラをモノクロのACROSシミュレーションに切り替え、得られた画像は深い黒と目に見える粒状感を持つ高コントラストのモノクロ描写になっていました。すべての変更はターミナル経由で行われ、物理ダイヤルは一つも回していません。

独自フィルムレシピの調査と書き込み

富士フイルムのカメラでは、特定のフィルムを模倣するために、フィルムシミュレーション、トーンカーブ、色設定、グレイン、ホワイトバランスシフトを組み合わせた独自の「レシピ」を作れます。これを手作業で入力するには散在する多くのサブメニューを行き来する必要があり、面倒な作業として広く知られています。

エージェントには、サブエージェントを立ち上げてKodak Portra 800のエミュレーションを調査するよう指示しました。技術データシート、コミュニティで公開されている人気のPortra 800レシピ、ラボ用スキャナーの特性を参照させています。その要約によると、本物のPortra 800は温かみのあるピーチゴールドの肌色、彩度が高いながらも自然な色、持ち上がったシャドウ、そしてPortra 400より目立つ粒状感が特徴です。エージェントはそれを踏まえて、CLAUTRA 800と名付けたレシピを作成しました。

設定 値
ベースシミュレーション クラシッククローム
ダイナミックレンジ DR400
グレイン 強、大
カラークロームエフェクト 弱
ホワイトバランス 6300K、赤+1、青-3
ハイライトトーン -1.5
シャドウトーン -0.5
カラー +2 ~ +3
シャープネス -2
ノイズリダクション -4

レシピをカメラに書き込むには、別の接続モード「USB RAW現像/バックアップ復元」が必要でした。このモードでエージェントはまず既存のカスタム枠C1からC7をバックアップし、その後CLAUTRA 800をカメラ内蔵メモリの枠C1に書き込みました。

自己補正する露出ループ

カメラをテザーモードに戻して机に置き、エージェントに新しいレシピで自撮りをするよう指示しました。手を使わずに構図を決めるため、エージェントはライブプレビュー映像に顔検出をかけ、顔がフレーム内で安定したらシャッターのカウントダウンを始める独自のPythonスクリプトを実行しました。カメラのISOダイヤルはC、シャッタースピードダイヤルはTに設定し、これらの露出制御をソフトウェアに委ねています。

興味深いのは最初の一枚の後です。エージェントはマルチモーダルな画像分析で顔の輝度の中央値を0から255のスケールで113と測定し、Portra風の肌色の目標として設定していた約170を大きく下回るとして、露出不足と判定しました。そして感度をISO 800からISO 1250に上げて撮り直しました。2枚目の分析では、強いソフトボックスの光があったにもかかわらず、肌の輝度は目標どおりで、ハイライトのクリッピングはフレームのわずか0.06%と報告されました。ただし注意点が一つあります。目で見ると頬の明るい側はまだいくらか白飛びして見えたため、数値による確認は人間が写真を見ることを完全には代替できません。

公式デスクトップアプリなしでRAWを再現像する

富士フイルムのデスクトップアプリケーションFUJIFILM X RAW STUDIOを使うと、RAWファイルをUSB経由でカメラ自身のプロセッサーに送って再現像できます。しかし多くの写真家はこのアプリを遅くて使いにくいと感じています。実験では、このアプリを開かずに同じハードウェア現像を実現することを目指しました。

早い段階で一つの教訓が浮かび上がりました。カメラ内蔵の現像は富士フイルム純正のRAWファイルしか受け付けません。SonyのARWファイルやJPEGは処理できないのです。そこでX-T5で新たにストリートスナップを一式撮影し、カメラを再接続しました。

エージェントはSDカードのフォルダ132_FUJIを調べ、JPEGと対になった48枚のRAWファイルを見つけ、そのうち最新の撮影分37枚を選び出しました。PTP経由の転送制限のため、ローカルドライブへは1枚ずつコピーしています。現像を実行するために、富士フイルムのUSBプロトコルを扱える、独立した開発者によるオープンソースツールfujicliを見つけてクローンし、ローカルでビルドしました。カメラを「USB RAW現像/バックアップ復元」モードに切り替えると、最初のCLAUTRA 800現像がカメラのX-Processor 5から2.7秒で出力され、残り36枚がその後ろにキューイングされました。続いてエージェントは、平坦なRAWそれぞれと現像版を比較する複数ページのPDFコンタクトシートを作成しました。

平坦なRAWのストリート写真と温かみのあるフィルムレシピ現像を比較した印刷コンタクトシートをルーペで確認している様子

▲ RAWとPortra風の独自現像の比較

比較では、歩道、反射、街の風景にわたって、温かみのある色調、広がったダイナミックレンジ、Portra 800を思わせる色の処理が確認できました。ネオンに照らされたサンドイッチ店の看板は、ハイライトのロールオフと色の変化を確認する目安になりました。

CineStill 800Tを追いかけ、ファームウェアの壁にぶつかる

次の目標はさらに難しいものでした。CineStill 800Tは、Kodak Vision3 500Tの映画用フィルムからレムジェットと呼ばれるハレーション防止層を取り除いて再パッケージしたものです。この層がないため、明るい光源には赤いハローが生じ、高コントラストのハイライトは柔らかくブルームします。夜のガソリンスタンドの写真でおなじみの表現です。ハレーションもブルームも、富士フイルムのメニューにはどこにも選択肢として存在しません。この効果を完全にカメラ内で実現するため、実験はファームウェアそのものに目を向けました。

ここでリスクは急激に高まります。ファームウェアの書き込みを誤れば、カメラは永久に文鎮化しかねないからです。別の調査用エージェントが事前に安全文書、バックアップチェックリスト、手順書を作成していました。エージェントはそれらの手順に沿って作業を進めました。カメラの全設定を2回バックアップし、公式ファームウェアのSHA-256ハッシュを記録し、SDカードの完全な複製をローカルに作成したのです。ドライバーコンポーネントのために富士フイルム公式のTether Appインストーラーをダウンロードし、続いてNSAが公開したオープンソースのリバースエンジニアリングスイートGhidra 11.0.1を取得してX-T5のファームウェアを逆コンパイルしました。これが合法かと問われると、エージェントはDMCA(デジタルミレニアム著作権法)第1201条の回避禁止規定について分析し、相互運用性研究の例外を指摘しつつ、保証とライセンス条項には影響が及ぶと述べました。

逆コンパイルそのものからは、実質的なアーキテクチャ上の知見が得られました。画像処理コードはアドレス0x82be000にロードされ、保存されたポインターの42%が関数の先頭に正確に一致しており、分析が構造を正しく読み取っている兆候でした。カメラはリアルタイムOSと組み込みLinux 4.9.92カーネルという2つのOSを、4つのARMコアを持つSocionext設計のチップ上で同時に動かしており、圧縮されたカーネルとバイナリを収めた約20MBのブロックがありました。

決定的な発見は、実際の画像パイプラインがそのアクセス可能なコードでは動いていないことでした。それは公開文書が一切存在しない富士フイルム独自の専用チップ上で動いており、ハレーションのようなものに使えるレジスタは公開されていません。該当コードを特定して書き換え、書き戻すというエージェントの5段階の計画は、エージェント自身の判断で中止されました。文書もバイナリの変更を安全に試せるエミュレーターもない以上、カメラを永久に文鎮化する可能性は許容できない、というのがその理由です。この自制は、おそらくこの取り組み全体で最も安心できる瞬間と言えるでしょう。

カメラ内でハレーションを実現できなかった場合にたどった経路 はい いいえ 目標: CineStill 800Tの表現 設定を2回バックアップファームウェアのハッシュ記録、SDカード複製 Ghidraでファームウェアを逆コンパイル 安全に改変できるか コードを書き換えて書き戻す 段階1: カメラ内現像で色とグレインを設定 段階2: PythonとOpenCVでハレーションとブルームを追加 並べて比較するコンタクトシート
▲ カメラ内でハレーションを実現できなかった場合にたどった経路

一つ波乱がありました。別の経路を追求するよう求めたところ、Claude Codeはサイバーセキュリティポリシーに基づく安全上の通知を出してセッションを停止しました。リバースエンジニアリングの文脈がトリガーになったようです。新しいセッションを開始し、ファームウェアに触れないワークフローを説明することで、プロジェクトは続行できました。

2段階の回避策

代替案では作業を2つの段階に分けました。段階1ではカメラ自身のプロセッサーを使い、CineStill風のベースとなる色とグレインを設定します。段階2ではmacOS上でPythonとOpenCVのスクリプトを実行し、ハードウェアでは生成できないハレーションとブルームを追加します。エージェントは37枚すべてに対してこのパイプライン全体を56秒で実行し、並べて比較するコンタクトシートを作成しました。

モニターに映る光の周りに赤いハローが出た夜の街の写真と、その横に置かれたカメラと2段階パイプラインのスケッチ

▲ 2段階のCineStill風ハレーション処理

現像結果では、街灯、建物の反射、水たまりに映るテールランプの周りに赤く光るハローと白いブルームが現れ、コンクリートの階段から白飛びした空を見上げるカットではハイライトのブルームが試されました。効果はネオンや街灯の周りでは説得力がありましたが、曇天の日中のカットではやや重く見えました。この構成の利点は、効果を弱めるのがスクリプトの編集ではなく一行の依頼で済むことです。実験から出たさらなるアイデアとして、エージェントが実際のフィルムスキャンと一致するまでレシピのパラメーターを反復的に調整するフィードバックループがありますが、これはここで試されたものではなく提案にとどまります。

この実験が意味すること、そして次にすべきこと

この実験は明確な線を引いています。文書化されたインターフェースを通るものはすべて機能しました。USBテザリング、シャッター制御、フィルムシミュレーションの切り替え、プリセット枠へのレシピ書き込み、数値による露出評価、そして公式アプリの代わりにfujicliを使ったハードウェアRAW現像です。一方、カメラの画像処理チップの挙動を変える必要があるものは機能せず、エージェント自身が試みるには危険すぎると判断しました。より大きな教訓は、デバイスが対話のためのプロトコルを提供している限り、AIエージェントは物理デバイスとソフトウェアパイプラインの橋渡し役になれるということです。

同様のことを試したい写真家のために、この過程から浮かび上がった実践的なポイントをいくつか挙げます。

  • カメラの接続モードは意図的に設定します。撮影制御には「USBテザー撮影 AUTO」、レシピの書き込みとRAW現像には「USB RAW現像/バックアップ復元」を使います。
  • Macでgphoto2がカメラを認識しない場合、バックグラウンドのPTPサービスがカメラを占有している可能性があります。
  • ソフトウェアに露出を制御させたいなら、ISOダイヤルをC、シャッターダイヤルをTに設定します。
  • 新しいレシピを書き込む前にエージェントにすべてのカスタム枠をバックアップさせ、低レベルの作業の前には全設定のバックアップとSDカードの複製を用意しておきます。
  • ファームウェアの改変は深刻な文鎮化リスクとして扱い、他人のメモを流用せず自分の機種に合わせた安全調査を自ら行い、あくまで自己責任で進めます。
  • フィルム固有の物理的な特性をカメラ内で再現できない場合、カメラ内現像とスクリプトによる後処理を組み合わせるハイブリッドが安全で実用的な代替手段になります。