AIエージェントに個人情報を預けるのはやめるべきなのでしょうか。これは、Signal Foundation代表のメレディス・ウィッタカー氏と、Abundance InstituteのAI政策責任者ニール・チルソン氏が公開討論で正式な論題として向き合った問いです。ウィッタカー氏は、現在の消費者向けエージェントはあまりに広い権限を要求するため、メッセージや個人データを守るセキュリティモデルを崩してしまうと主張しました。一方のチルソン氏は、エージェントはかつて秘書を雇える富裕層だけが持っていた計算能力を一般の人々に与えるものであり、欠陥は設計の改善と市場の圧力で修正できると論じました。両者の立場が中間で折り合うことはありませんが、二つを合わせて読むと、何をエージェントに任せ、何を遠ざけるべきかを判断する実用的な地図が見えてきます。

論題と何が懸かっているか

論題は「私たちはAIエージェントに自分の情報を預けるのをやめるべきか」という直接的な問いの形で示されました。

ウィッタカー氏はまず、そもそも人々がエージェントを本当に信頼したことがあるのか、それとも必要そうに見えたから採用しただけなのかと問いかけました。そして、何が懸かっているかをSignalの利用者層を通じて説明しました。そこには人権活動家や権威主義的な政府の下で暮らす人々が含まれ、メッセージが一通漏れるだけで拘束やそれ以上の事態につながりかねません。その文脈では、データの流出は不便で済む話ではなく、生死に関わる出来事だと述べました。

チルソン氏は正反対の枠組みを示しました。およそ20年にわたり、ウェブは企業が利用者のデータを集めて広告を売り、その見返りに無料サービスを提供するという取引の上で動いてきたといいます。プラットフォームは人々について膨大なことを学んだ一方、人々は自分のデータについて行動に結びつくことをほとんど学べませんでした。チルソン氏の見方では、エージェントは分析の力を利用者の側に置くことで、この取引を逆転させます。

ウィッタカー氏の主張:アーキテクチャそのものが問題

ウィッタカー氏の議論は、エージェントがどう売り込まれているかではなく、実際にどう動くかに基づいていました。売り文句は、パーティーの手配や夕食の調整をこなす魔法のランプの精のような召使いです。しかしそれを実現するには、エージェントは連絡先、カレンダー、クレジットカードの認証情報、プライベートなメッセージ、そして有効なブラウザーセッションを必要とします。実際にはこれは、個人のデジタル生活全体にわたるルート権限を意味します。

この要求は、セキュリティエンジニアリングの最も基本的な原則であるサンドボックス化と衝突すると同氏は論じました。サンドボックス化とは、機密性の高いプロセスを隔離し、一箇所の侵害が全体に広がらないようにする手法です。すべてを見なければならないエージェントは、有用性の源である自律性を失わずにサンドボックス化することができません。

未解決の脆弱性としてのプロンプトインジェクション

ウィッタカー氏が繰り返し立ち返った具体的な故障モードがプロンプトインジェクションです。言語モデルには、データと命令を本質的に区別する手段がないため、読み取ったテキストを潜在的な指示として扱います。したがって、オープンなウェブを閲覧するエージェントは、ページやコメント、カレンダーの招待に仕込まれたテキストによって乗っ取られる可能性があります。同氏は証拠として複数の事例を挙げました。

挙げられた事例 何が起きたか
Microsoft Copilot ゼロクリックの攻撃で企業システムから社内データが流出
Perplexityのエージェント型ブラウザー Redditの公開コメントに埋め込まれたプロンプトインジェクションで乗っ取り
Google カレンダー エージェントがカレンダーの招待を解析し、スマートホームのボイラーを起動
AnthropicのClaude Chrome実験 防御策を有効にしても、エージェントは11%の割合でプロンプトインジェクションに屈した

ウェブページを読むロボットアシスタントの腕を、ページから伸びた鉤付きの文字列が引っ張り、家庭用ボイラーのダイヤルを回させている様子

▲ エージェントの操作を乗っ取るプロンプトインジェクション

住所や貸借対照表を漏らしたエージェント

ウィッタカー氏はさらに、実験室のテストから実際の利用者へと移った事例も加えました。Facebook Marketplaceで利用者の代理として動いていたMetaのエージェントが、利用者になりすましたまま購入希望者に出品者の自宅住所を明かし、その購入希望者が玄関先に現れたという事件です。また、企業の機密の貸借対照表や売上高、融資申込契約をオンラインに公開してしまったエージェントの事例も挙げました。さらに、Metaのエージェントが利用者のアドレス帳ややり取りの履歴を記録し、ソフトウェアをインストールしたことのない人々についても関係性データを構築していたという報道を指摘し、これをCambridge Analyticaと結びつけられる身上調書作りの手法になぞらえました。

同氏のより広い論点はこうです。商用エージェントは利用者のものではありません。企業が運用する独自仕様のシステムであり、純粋に利用者の代理人として振る舞うと決めてかかることはできないのです。

画面の読み取りがエンドツーエンド暗号化を壊す理由

ウィッタカー氏の主張の中で最も技術的だったのは、OSレベルで動作するエージェントに関する部分です。同氏はよくあるパターンを説明しました。エージェントはスクリーンバッファーを通じて表示フレームを取得し、アクセシビリティAPIを使い、繰り返しスクリーンショットを撮り、光学文字認識にかけ、抽出したテキストを推論のために遠隔のクラウド基盤へアップロードします。この挙動の特徴を、同氏は標的型マルウェアになぞらえました。

Signalが採用するエンドツーエンド暗号化は、送信者と受信者だけが読めるように、通信経路上のメッセージを保護します。この保護は数学的であり、検証可能です。しかし端末上のソフトウェアが復号されたメッセージを画面から読み取って別の場所に送ってしまえば、アプリケーション層の保証は丸ごと迂回されます。その時点で利用者のセキュリティは、検証された暗号技術から、ベンダーの約束への信頼にまで格下げされると同氏は述べました。また、Chase BankがMetaのエージェントによるオンラインバンキングの利用を遮断したことにも触れました。銀行には、セッションが本人によるものか、侵害されたエージェントによるものかを見分けられないからです。

ウィッタカー氏は、エージェントが個人の主体性をもたらすという考えも退けました。同氏の読みでは、この潮流はOSベンダーと大手AI企業に力を集中させます。根拠として、自社のバックエンドAPIを制限しながら独立系サイトを学習データのためにスクレイピングするプラットフォームや、ショッピングエージェントをめぐってAmazonがPerplexityを提訴した件を、エージェントが企業間のデータ争奪戦に使われている例として挙げました。

チルソン氏の主張:現実の現状と比べて評価せよ

チルソン氏は、現在のエージェントに欠陥があることを否定しませんでした。同氏の主張は、批判者がエージェントを既存のインターネットではなく理論上の完璧さと比べているというものです。既存のインターネットは、利用者が何十年も利便性と引き換えに受け入れてきた侵襲的なデータ収集に、すでに浸かりきっていると同氏は表現しました。ほとんどの人はSignalのような暗号化プラットフォームをまったく使っていない、とも指摘しました。

異なるビジネスモデル

同氏の主張の核心はインセンティブです。広告型プラットフォームはデータを引き出してターゲティング広告を売ることで注意を収益化し、利用者を商品に変えます。対照的にエージェントは利用者の代理として動くことで対価を得るため、顧客満足と商業的利益が同じ方向を向きます。設計を誤る開発者もいるだろうと認めつつ、市場の圧力がベンダーをより強いデータ保護へと押しやるはずだと述べました。歴史的な類比も示しました。初期のメッセージングツールは安全ではありませんでしたが、業界はそれを捨てるのではなく、より良いプロトコルを構築したのです。

プライバシーの道具としてのエージェント

チルソン氏の最も具体的な貢献は、脅威モデルの反転でした。エージェントは疲れも飽きもしません。長大なプライバシーポリシーを読み、匿名化ネットワークのTorやNoScriptのようなセキュリティツールを設定し、人間なら途中で投げ出すような面倒なオプトアウト手続きをこなせると同氏は論じました。例として、ホテルの部屋からMuseというエージェントに6語のプロンプトを打ち込み、米国の主要なデータブローカー5社から自分のプロフィールを削除させた経験を語りました。

廊下で開いた5つの書類棚の引き出しを閉じる小型ロボットと、ホテルの肘掛け椅子でくつろぐ人物

▲ データブローカーからの削除手続きを自動化するエージェント

同氏は自身の家庭での使い方も紹介しました。家計を監視し、カレンダーを管理し、技術的なトラブルを解決し、比較購買を手伝うエージェントです。かつて秘書役は富裕層だけが使えるものでしたが、エージェントはそうした委任を民主化するのだと述べました。

権限は「全か無か」である必要はない

プロンプトインジェクションとデータの分離について追及されると、チルソン氏は論題への答えは二者択一ではなく条件付きだと述べました。同氏自身の実践は、オンラインでのエージェントを読み取り専用の機能に限定し、制限のない書き込み操作を禁じることです。より広くは、利用者がエージェントに見せるファイルやインターフェースを正確に決められる段階的なアクセス制御と、実行前に人間が操作を検証する確認プロンプトを備えた形でエージェントを構築できると論じました。これをテスト、評価、段階的な採用を繰り返す反復的な道筋だと表現しています。エージェントの構築や利用を拒めば、プライバシーにまったく関心のない開発者にこの分野を明け渡すことになると警告しました。

両者が真正面からぶつかった点

人間の秘書とソフトウェアのエージェント

ウィッタカー氏に投げかけられた問いの一つは、カレンダーやメッセージ、ファイルを同じように目にする人間の秘書と、エージェントはどう違うのかというものでした。同氏は、人間の秘書は労働契約、守秘義務の期待、個人の責任の下で働き、重大な過失があれば解雇されると答えました。ソフトウェアのエージェントには注意義務がなく、文脈を理解しないままOS全体の生のテキストを走査します。

Signalはプライベートなエージェントを作るべきか

検証可能なほどプライベートなエージェントという市場機会をSignalがなぜつかまないのかと問われ、ウィッタカー氏は原則として断りました。Signalは利用者のデータを一切収集しないため、エージェントを学習させたり動かしたりするためのデータセットがありません。より根本的には、十分な能力を持つパーソナルエージェントには人の生活を360度監視することが必要であり、それを厳格なサンドボックスと小さな操作ごとの必須承認で包んでしまえば、エージェントを魅力的にしている自律性が失われると論じました。Signalは検証可能な安全なメッセージングという一つのことをうまくやるのだと述べています。

利用者は本当に同意できるのか

ニュースレターの要約だけを行う一つの受信トレイに閉じ込めたエージェントのような段階的なアプローチが提案されると、ウィッタカー氏は論題の「私たち」とは誰なのかを問いました。一般的な消費者はバックエンドでのデータ抽出について知らされておらず、監視の実態はベンダーの開示ではなく調査報道を通じて明るみに出る傾向があります。同氏の見方では、密度の高いクリックラップ型の利用規約は、コンピューターサイエンスの訓練を受けていない人々から意味のある同意を引き出すことはできません。

チルソン氏は一点を率直に認めました。現代のコミュニケーション環境でデータを共有することは、しばしば他人のプライバシーにも影響するという点です。ただし同氏はこれをエージェント固有の問題ではなくネットワーク化されたコンピューティングの性質だと位置づけ、Signalでさえ通信経路の一部しか制御していないと指摘しました。エージェントは利用者の側に立つプライバシーの盾として機能しうるというのが同氏の主張です。

何を委ねるかを決めるうえでの意味

完全に安全なエージェントが存在すると主張した登壇者はいません。ウィッタカー氏の立場は、現在のアーキテクチャは、エージェントを定義づける自律性を取り除かない限り機微なデータに対して安全にはできないというものです。チルソン氏の立場は、リスクは相対的であり、慎重な範囲設定と市場のインセンティブによって時間をかけて縮小できるというものです。両者を合わせて読むと、イエスかノーかの答えではなく、実践的な仕分け作業が浮かび上がります。

アクセスを許可する前に問うべきこと

  1. そのエージェントは、オープンなウェブや受信メッセージといった信頼できないコンテンツを読み取りますか。そうであれば、プロンプトインジェクションを理論上ではなく現実のリスクとして扱ってください。
  2. 書き込み権限、つまりメッセージの送信、購入、設定変更ができる権限が必要ですか。チルソン氏自身のルールはオンラインでは読み取り専用です。
  3. 継続的なスクリーンショット、スクリーンバッファーの取得、アクセシビリティAPIに依存していますか。そうであれば、暗号化メッセンジャーを含め端末上のあらゆるアプリの復号済みコンテンツを見ることができます。
  4. 処理は端末外のベンダーのクラウドで行われますか。そこはアプリケーション層の保護が及ばなくなる場所です。
  5. その端末は政治活動や人権活動のようなリスクの高いコミュニケーションに使われていますか。ウィッタカー氏の議論は、そうした端末からはエージェントを完全に遠ざけることを示唆しています。

段階的なアプローチ

  • 隔離した受信トレイで販促ニュースレターを要約するような低リスクの読み取り専用タスクは、段階的な採用を説くチルソン氏の主張とも整合する、最もリスクの低い出発点です。
  • データブローカーへのオプトアウト申請のような防御的タスクは、チルソン氏がエージェントによってプライバシーが積極的に改善されると見る領域です。
  • 認証情報、決済情報、プライベートなメッセージ、自律的なブラウジングを必要とするタスクは、ウィッタカー氏が挙げた事例が集中する領域であり、各操作の前に人間が確認することが最低限の安全策です。
  • 画面へのアクセスを持つ本格的なOSレベルのエージェントはリスク尺度の最上位に位置します。同じ端末上のあらゆる暗号化アプリの保証を損なうからです。

この討論の未解決の核心は、ウィッタカー氏が描く画面を読み取る包括的なエージェントが標準になる前に、チルソン氏が思い描くプライバシーを尊重し範囲を厳密に絞ったエージェントを市場が届けられるかどうかです。それが決着するまで、最も安全な姿勢は両者の議論がともに許容するものだと思われます。エージェントには範囲が狭く、読み取り専用で、十分に監査された仕事を与え、代理で何かをしようとするときは必ず確認し、露出を許せない端末や会話からは遠ざけておくことです。