AI 编程智能体如今能做的已不止写软件。在最近一次上手实验中,Anthropic 的 Claude Code 在一台 Mac Studio 的终端里运行,仅通过一根 USB-C 线就接管了一台售价约 $1,700 的富士 X-T5 无反相机。在纯英文提示词的驱动下,这个智能体读取了相机状态、触发快门、切换胶片模拟、调研并把一套自定义胶片配方写入相机内存、借助计算机视觉自行校正曝光,还用相机内置处理器批量渲染了 RAW 文件。它也撞上了一堵硬墙:当被要求加入一种富士从未内置于菜单的效果时,对相机固件的深入探查以这样的结论收场——图像处理管线运行在没有公开文档的硬件上,无法安全修改。这次实验的结果,是一张关于智能体今天能对实体设备做什么、不能做什么的清晰地图。

让 AI 智能体与相机对话

表面上看,搭建过程很简单。X-T5 用一根普通 USB-C 线连到 Mac Studio,Claude Code 运行 Claude 3.5 Opus 模型,推理强度设为中等。相机一侧,需要把"网络/USB"设置里的连接模式设为"USB 联机拍摄 自动"。

接下来,智能体被要求用自然语言识别已连接的相机、报告其配置,并想办法控制它。它识别出设备的厂商 ID,注意到 macOS 的一个后台照片服务已经通过 PTP(图片传输协议,相机与电脑通过 USB 交换图像和指令的标准协议)占用了相机,并通过 Homebrew 包管理器安装了开源命令行相机工具 gphoto2。清除冲突、重新检测到相机后,智能体回读了一份完整的状态报告:

项目 报告的值
机身 富士 X-T5,固件 2.03
镜头 Fujinon XF 23mm f/2 R WR
电池 100%
累计快门次数 22,160
曝光 手动,1/60s,f/2.8,ISO 500
对焦 单次 AF-S
输出 使用当前胶片模拟的 JPEG

这一步的意义比看起来更大。智能体并没有依赖专门针对富士相机的插件,而是使用通用协议和现成的开源工具,并自行诊断出了挡在路上的唯一障碍。

快门、胶片模拟,全程不碰拨盘

第一次控制测试要求智能体把相机的胶片模拟切换为 ASTIA/柔和,拍一张照片,并把结果保存到 Mac 桌面。它发出指令、完成拍摄,并确认 RAW 文件(.RAF)和处理后的 JPEG 都已传输。第一张略有抖动,应要求干净利落地重拍了一次。第二条指令把相机切换到 ACROS 黑白模拟,得到的图像呈现高反差的单色效果,黑色深沉,颗粒清晰可见。所有改动都通过终端完成,没有转动任何实体拨盘。

调研并写入自定义胶片配方

富士相机允许用户构建自定义"配方":把胶片模拟、色调曲线、色彩设置、颗粒和白平衡偏移组合起来,模仿特定胶片的质感。手动输入一套配方意味着要在许多分散的子菜单之间来回操作,这被普遍认为相当繁琐。

智能体被要求派生子智能体调研柯达 Portra 800 的模拟方案,参考技术数据表、社区广为流传的 Portra 800 配方以及冲印扫描仪的特性。它的总结称,真正的 Portra 800 具有温暖的桃金色肤色、饱和却自然的色彩、提亮的阴影,以及比 Portra 400 更明显的颗粒。随后它生成了一套配方,命名为 CLAUTRA 800:

设置 值
基础模拟 Classic Chrome
动态范围 DR400
颗粒 强,大
色彩效果 弱
白平衡 6300K,红 +1,蓝 -3
高光色调 -1.5
阴影色调 -0.5
色彩 +2 到 +3
锐度 -2
降噪 -4

把配方写入相机需要另一种连接模式:"USB RAW 转换/备份恢复"。在该模式下,智能体先备份了现有的自定义槽位 C1 到 C7,然后把 CLAUTRA 800 写入相机内存的 C1 槽位。

自我修正的曝光循环

相机切回联机模式并放在桌上后,智能体被要求用新配方拍一张自拍。为了免手动构图,它运行了一段自定义 Python 脚本,对实时预览画面做人脸检测,待人脸在画面中稳定后启动快门倒计时。相机的 ISO 拨盘设为 C,快门速度拨盘设为 T,这样就把这些曝光控制交给了软件。

有意思的部分出现在第一张之后。智能体利用多模态图像分析,测得人脸的中位亮度在 0 到 255 的刻度上为 113,远低于它为 Portra 风格肤色设定的约 170 的目标值,于是把这一帧标记为曝光不足。它把感光度从 ISO 800 提高到 ISO 1250 并重拍。对第二帧的分析显示,肤色亮度达到目标,尽管有强烈的柔光箱照明,高光溢出的区域只占画面的 0.06%。需要注意的是,肉眼看来脸颊亮侧仍有些过曝,所以数值检查并不能完全取代人眼对照片的审视。

不用官方桌面应用也能重新渲染 RAW

富士的 FUJIFILM X RAW STUDIO 桌面应用允许用户通过 USB 把 RAW 文件送回相机自身的处理器重新处理。不少摄影师觉得这款应用又慢又别扭。这次实验的目标,是不打开它也能获得同样的硬件渲染。

一个教训很快浮现:相机的内部转换只接受富士原生 RAW 文件,无法处理索尼的 ARW 文件或 JPEG。于是用 X-T5 重新拍了一组街头照片,再把相机接回电脑。

智能体检查了 SD 卡上的 132_FUJI 文件夹,找到 48 个带有对应 JPEG 的 RAW 文件,并挑出最近一次外拍的 37 张。由于 PTP 的传输限制,它把这些文件逐个复制到本地磁盘。为了驱动转换,它找到并克隆了 fujicli——一位独立开发者编写的、能与富士 USB 协议通信的开源工具——并在本地完成构建。相机切换到"USB RAW 转换/备份恢复"模式后,第一张 CLAUTRA 800 渲染在相机的 X-Processor 5 上耗时 2.7 秒完成,其余 36 张随后排队处理。智能体接着生成了一份多页 PDF 联系表,把每张平淡的 RAW 原片与渲染版本并排对比。

打印出来的联系表,对比平淡的 RAW 街头照片与色调更暖的胶片配方渲染,用放大镜检视

▲ RAW 原片与 Portra 风格渲染对比

对比显示,在人行道、倒影和城市景观中,画面色调更暖、动态范围更宽,色彩处理让人联想到 Portra 800。一块霓虹灯照亮的三明治店招牌,则用来检验高光过渡和色彩偏移。

追求 CineStill 800T,撞上固件之墙

下一个目标更难。CineStill 800T 是去掉了 remjet 防光晕背层后重新分装的柯达 Vision3 500T 电影胶片。少了这一层,明亮光源会带上红色光晕,高反差的高光会柔和地晕开,这正是夜间加油站照片里常见的那种质感。无论是光晕还是晕开,富士菜单里都没有任何对应选项。为了完全在机内实现这种效果,实验转向了固件本身。

这里的风险陡然上升,因为一次错误的固件写入可能让相机永久变砖。此前,一个独立的调研智能体已经产出了安全文档、备份清单和方法说明文件。智能体随后逐步执行这些步骤:把相机所有设置备份两次,记录官方固件的 SHA-256 哈希值,并制作 SD 卡的本地精确副本。它下载了富士官方 Tether App 安装包以获取驱动组件,然后获取了美国国家安全局(NSA)发布的开源逆向工程套件 Ghidra 11.0.1,用来反编译 X-T5 的固件。被问及这样做是否合法时,它分析了 DMCA 第 1201 条反规避规则,指出存在互操作性研究豁免,同时提醒保修和许可条款会受到影响。

反编译本身得出了实实在在的架构发现。图像处理代码加载于地址 0x82be000,42% 的存储指针恰好落在函数起始位置,说明分析正确读取了结构。相机同时运行两套操作系统——一个实时操作系统和一个嵌入式 Linux 4.9.92 内核——基于 Socionext 设计的四核 ARM 平台,另有一个约 20 MB 的区块存放压缩后的内核和二进制文件。

决定性的发现是,真正的图像处理管线并不运行在这些可访问的代码里,而是运行在一枚从未公开过文档的富士专有专用芯片上,没有任何暴露出来的寄存器可以用于光晕之类的效果。智能体原本制定了五步计划,打算定位并改写相关代码再刷回相机,最终根据自己的评估放弃了:没有文档,也没有能安全测试二进制改动的模拟器,相机永久变砖的概率高得无法接受。这种克制,可以说是整个实验中最令人安心的时刻。

无法在机内实现光晕时的处理路径 能 不能 目标:CineStill 800T 质感 设置备份两次记录固件哈希,复制 SD 卡 用 Ghidra 反编译固件 能否安全修改? 改写代码并刷回相机 第一阶段:机内渲染处理色彩与颗粒 第二阶段:Python 与 OpenCV添加光晕与晕开 并排对比联系表
▲ 无法在机内实现光晕时的处理路径

随后出现了一个小插曲。当被要求尝试替代路线时,Claude Code 弹出一条与其网络安全政策相关的安全提示并暂停了会话,看来是逆向工程的上下文触发了它。新开一个干净的会话并描述不涉及固件的工作流后,项目得以继续。

两阶段的变通方案

备选方案把任务拆成两步。第一阶段用相机自身的处理器设定色彩和颗粒,得到 CineStill 风格的基底。第二阶段在 macOS 上运行 Python 和 OpenCV 脚本,补上硬件无法生成的光晕和晕开效果。智能体用 56 秒跑完了全部 37 张图片的完整管线,并生成了并排对比的联系表。

显示器上灯光带红色光晕的夜间街景照片,旁边是一台相机和两步流程草图

▲ 两阶段 CineStill 风格光晕工作流

渲染结果中,路灯、建筑倒影和水洼里的尾灯周围出现了红色光晕和白色晕开;一张仰拍混凝土楼梯间、朝向过曝天空的照片则检验了高光晕开效果。这种效果在霓虹灯和路灯周围颇为逼真,但在阴天日光的画面上显得有些过重。这套方案的好处在于,想把效果调轻,只需一句话的请求,而不用去改脚本。实验还提出了另一个想法:建立一个反馈循环,让智能体对照真实胶片扫描件反复调整配方参数直至匹配,不过这仍只是设想,并未在此实际测试。

这意味着什么,以及该怎么做

这次实验划出了一条清晰的界线。凡是通过有文档的接口进行的操作都成功了:USB 联机、快门控制、胶片模拟切换、向预设槽位写入配方、数值化曝光评估,以及绕开官方应用、通过 fujicli 完成硬件 RAW 渲染。凡是需要改变相机成像芯片行为的操作都没有成功,而且智能体自己判断这太危险而不应尝试。更广泛的启示是,只要设备提供了可以对话的协议,AI 智能体就能充当实体设备与软件管线之间的桥梁。

对于想做类似尝试的摄影师,整个过程中有几点实用经验值得注意:

  • 有意识地设置相机连接模式:拍摄控制用"USB 联机拍摄 自动",写入配方和转换 RAW 文件用"USB RAW 转换/备份恢复"。
  • 如果 gphoto2 在 Mac 上看不到相机,可能是某个后台 PTP 服务占用了它。
  • 想让软件控制曝光,就把 ISO 拨盘设为 C、快门拨盘设为 T。
  • 让智能体在写入新配方前备份每一个自定义槽位;做任何底层操作前,保留完整的设置备份和 SD 卡副本。
  • 把固件修改视为严重的变砖风险,针对自己的机型自行做安全调研,而不是沿用别人的笔记,并且后果自负。
  • 当某种胶片的物理特性无法在机内复现时,机内渲染加脚本后期处理的混合方案是安全可行的替代。