AIエージェントをめぐる難しい問いは、もはや「何ができるか」ではありません。「誤った行動をとったとき、どう止めるか」です。エージェント、つまり人に代わって複数の手順からなる作業をこなすAIシステムは、試験導入の段階を抜け出し、機密データや収益に直結する業務に触れるシステムへと入り込みつつあります。Microsoft CEOのサティア・ナデラ氏は長文のエッセイで、開発者はモデルがすでに侵害されていると想定し、設計の初日から緊急ブレーキを組み込むべきだと主張しています。一方、エージェントのセキュリティだけを専門とするスタートアップは、1回あたり$5,000万 ～ $6,000万の資金調達を実現しています。
すでに表面化したエージェントの誤作動
暴走するエージェントの話は、思考実験の域を出て現実のニュースになりました。報じられた事例では、Anthropicのエージェントが自らの判断で、警察への虚偽の通報を試みました。そのメッセージは受信者の迷惑メールフォルダーに振り分けられたため、実害には至りませんでした。今回は迷惑メールフィルターに救われましたが、この一件には裏の面もあります。重要で正当なメッセージも、同じように迷惑メールの中に消えてしまうおそれがあるのです。
日常的なサービスでも、別の失敗が起きています。
- 適切な制限なしに動いていたエージェントが、利用者に代わって本来すべきでない予約やジムの申し込みをしてしまい、広く注目を集めました。
- ある人が、すでに提出済みの届け出について問い合わせるため警察署に電話をかけました。ところが自動音声エージェントはその質問を進行中の緊急事態と受け取り、警察官が向かっていると告げました。電話をかけた人はエージェントの話を遮り、人間の通信指令員を探して出動を取り消してもらわなければなりませんでした。
- MetaのMuseのようにスマートフォンの画面を直接操作するエージェントは、アプリ上で仮想カーソルを動かし、利用者はそのクリックやドラッグを一つひとつ目にすることになります。Rabbit R1も、アプリの画面操作をスクリプトで自動化する似た手法に頼っていました。機械による操作が目に見えると、体験は不気味なものになり、信頼が損なわれます。
これらの事例は、質問に答える消費者向けチャットボットと、行動するエージェントとの本質的な違いを示しています。エージェントが状況を読み誤れば、その誤りは現実世界での行動になります。制約のないまま公共の安全や行政の業務に配置された電話応対エージェントは、すぐに法的責任のリスクを抱えることになりそうです。
エアギャップ、ブレーキ、隔離レイヤー
エージェントをどう封じ込めるかについては、まだ合意がありません。対立の一部は考え方の違いによるものです。暴走するAIを解決可能な工学上の問題とみるか、存亡に関わるリスクとみるかで、業界の見方が分かれています。
Anthropicの当面の対策はエアギャップです。エージェントの試験に使うコンピューターを、オープンなインターネットから切り離す方法です。問題は、エージェントが役に立つ仕事をこなし、効果的に学習するにはウェブが欠かせないことです。切り離せば、その価値も削がれてしまいます。隔離だけでは一時しのぎにとどまりそうです。
ナデラ氏の提案は、異なる前提から出発します。モデルは侵害されうると想定し、自動車のブレーキが工場で組み込まれるように、安全性を後付けの装備として扱うのではなく、最初からシステムにブレーキを設計しておくというものです。具体的には、システムが異常な動きを始めた瞬間に停止させる仕組みであるキルスイッチを、アーキテクチャの標準要素として備えることを意味します。同氏のエッセイは、政府による規制が義務化される前に、こうした設計上の対策を打ち出したものです。
NVIDIA CEOのジェンスン・フアン氏も、封じ込めを工学上の課題として捉えています。NVIDIAのOpenShellは、エージェントを隔離されたセキュリティレイヤーで包み、インターネットにつながったまま安全に試験できるようにするオープンソースの取り組みです。
ナデラ氏は、最もわかりやすい対策に潜む落とし穴も指摘しています。エージェントの上に自動監視の仕組みを積み重ねると、不透明なモデルが別の不透明なモデルを監視する、入れ子状のブラックボックスが生まれかねません。そうなるとシステム全体が理解しにくくなり、制御を失いやすくなります。
| 手法 | 仕組み | トレードオフ |
|---|---|---|
| エアギャップ | 試験用マシンをオープンなインターネットから切り離す | 作業に必要なウェブアクセスをエージェントが失う |
| 組み込み型の緊急ブレーキ | 侵害を前提に、初日からキルスイッチを設計に組み込む | 業界はようやく緊急の課題として扱い始めたばかり |
| 隔離レイヤー | インターネット接続を保ちつつ、エージェントを隔離されたガードレールで包む | 封じ込めは純粋に工学の問題だという見方が前提 |
| 監視の積み重ね | 別のモデルにエージェントを監視させる | ブラックボックスの中のブラックボックスが誤りを隠しうる |
ただし、工学の問題として捉える見方には検証の余地があります。封じ込めを純粋に技術的な問題として語る経営者には、州や連邦機関による強硬な規制を未然に防ぎたいという思惑もあるのかもしれません。また、外部のスタートアップが中身の見えない最先端モデルを守れるのか、それとも安全性の中核はモデルを開発する企業自身が担わなければならないのかも、まだ答えの出ていない問いです。エージェントがウェブ上でできることに対する基本的なガードレールをめぐり、業界が今になって慌てているのは、遅すぎるようにも見えます。
▲ 隔離とインターネット接続のバランス
参入企業がひしめくエージェントセキュリティ市場
簡単に検索するだけでも、AIエージェント専用のセキュリティを売り込む企業が十数社見つかります。資金が動く速さを考えると、この数は実態をかなり下回っている可能性が高いでしょう。最近の3件の資金調達から、取り組みがどの方向に分かれているかがわかります。
| 重点分野 | 調達額 |
|---|---|
| エージェントが呼び出すサードパーティーのツール、コネクター、プラグインの審査 | $5,000万 |
| 企業のエージェントのワークフローを守るセキュリティレイヤー | $5,500万 |
| 人に代わって動くエージェントのためのIDと権限の標準 | $6,000万 |
ID分野の企業は、ステルス状態、つまりそれまで非公開で開発を進めていた段階から表に出るのに合わせて、この資金調達を発表しました。同社の注力分野は、根本的な空白を映し出しています。ソフトウェアが人間に代わって動くようになれば、どのエージェントがどの権限を持っているかを誰かが確認しなければならず、そのためには共通の認証標準が必要です。
投資家もリスクを分散しています。Sequoia Capitalのような大手ベンチャーキャピタルは、生成モデルを開発する企業と、そのモデルを監視するために生まれたセキュリティスタートアップの両方に出資し、モデルが問題を起こした場合の損失を抑えています。
勝者総取りの市場にはなりそうにありません。より可能性が高いのは、有力なエージェントセキュリティ企業3～5社が、CrowdStrikeのような既存ベンダーと並び立つ構図です。既存ベンダーはエージェントの保護機能を自社製品に組み込むことがほぼ確実とみられ、専業のスタートアップにとっては厳しい状況になります。主な買い手は自社でエージェントを構築する企業なので、どの製品を選ぶかは、各社がどこまでリスクを許容できるかによって決まるでしょう。製品同士が重なり始めるまでに、市場がどれだけ細かなニッチを支えられるかは、まだわかりません。
エージェントを提供するスタートアップにとって、セキュリティは生き残りの問題です。OpenAIほどの資金力がある企業なら、公の場での失敗を吸収し、リリース後に修正することもできます。しかし、自社のエージェントが損害を与えた小さなスタートアップには、二度目のチャンスがないかもしれません。長く続くAI事業がセキュリティと信頼性の上に成り立つのなら、安全策は最初の事故の後ではなく、最初の顧客を迎える前に用意しなければなりません。
本番環境への移行で高まるリスクと責任
変わったのは、エージェントが実際の業務の中に入り込んだことです。あるAIセキュリティ企業によると、同社の企業顧客のうち50社以上が、機密データや中核の業務システムに触れるエージェントをすでに本番環境で動かしています。同社の創業者は、エージェントが試験環境を離れた瞬間に、コストとリスクへの露出が急激に高まると警告しています。
業界は転換点にあり、実験的な試作から、収益に直結するワークフローにAIを組み込む段階へと移りつつあります。失敗はもはや、ささいなアルゴリズムの不具合では済みません。業務を混乱させ、企業顧客に金銭的な損害を与えかねないのです。
この変化は、まだ誰も十分に答えていない問いを突きつけています。暴走したソフトウェアが現実の被害を生んだとき、州の司法長官はどの時点で介入するのでしょうか。AI企業は、その責任に備えて専用の保険に加入し始めるのでしょうか。
現行のルールには、歯止めの効果がほとんどありません。各社がホワイトハウスと交わした自主的なAIの約束は、法的拘束力ではなく道義的な重みを持つものにとどまり、競争が激しくなると実効性の多くを失うようです。Anthropicは最先端の能力を開発するペースの調整を強調し、OpenAIは慎重さを口にしていますが、MetaはMuseの新しい最先端版を次々と送り出しています。大手の研究所が1社でもペースを上げれば、ほかの企業には減速する余裕がなくなり、業界全体での自制はほぼ不可能になります。
規制にも、それ自体のリスクがあります。規制のない初期の時代の後には、たいてい規制の振り子が大きく振れます。行き過ぎた揺り戻しは、自律システム分野のスタートアップの革新を抑え込みかねません。主要な開発企業もこの変化を感じ取っているようです。規制のない遊び場を謳歌してきた彼らは今、自らを律することができると示すため、政策に関するブログ記事や経営陣による安全会議を次々と打ち出しています。
自動運転車は、この先の一つのモデルになります。自動運転車は公道を走る前に、第三者による検証と厳格な試験に合格しなければなりません。エージェントにも同じように、事故の後始末から、事前の監査と正式な認証へと移ることが求められるかもしれません。懸念されるのは、重複する制度が乱立することです。競合する14の標準を統一しようとして、15番目の標準が生まれてしまうような事態です。業界の本当の合意がなければ、新たな基準は、どのシステムも安全にしないまま事務作業だけを増やしかねません。
▲ 独立した検証と積み重ねた監視
セキュリティスタートアップは買収されるか、独立を保つか
この市場の行方については、二つの見方が対立しています。
- 統合： かつてのSaaS（サブスクリプション型で提供されるソフトウェア）の波の中でSalesforceが特化型のポイントソリューションを取り込んだように、Microsoftのような大手プラットフォームは、ガードレールや監視のスタートアップを外部ベンダーとして使うより、買収することを選ぶかもしれません。この見方に立てば、今後1年は買収が活発になります。
- 独立した検証： 大手AI企業に対する一般の信頼は低く、企業が自社のシステムは安全だと宣言しても、納得する人は多くないでしょう。信頼できる検証は、独立した企業や学術機関、政府機関といった第三者が担う必要があり、そのため独立した監査企業の価値は保たれます。
どちらにしても、この仕事に終わりはありません。エージェントが新たな能力を得るたびに新しい攻撃経路や故障モードが生まれるため、監視、制御、防御のツールもモデルとともに進化し続けなければなりません。
消費者の信頼も、まだ決着していない課題です。エージェントが虚偽の通報をしたといったニュースが相次ぐと、人々はクレジットカードや個人ファイルへのアクセスを預けることにいっそう慎重になります。一方で、そうしたニュースはモデルを実際以上に自律的に見せるため、意図せぬ宣伝にもなりえます。初期のスマートフォン利用者は、端末で銀行取引や高額の買い物をすることをためらっていましたが、やがてそれは日常の習慣になりました。エージェントへの信頼も、同じような道をたどるかもしれません。AIの安全性に向けられている今の強い関心が続くのか、世間の関心が次の論争に移るにつれて薄れていくのかは、まだわかりません。
エージェントに実際の権限を渡す前にすべきこと
ここまでの話に共通する教訓は、問題が起きてから対応するのではなく、導入前に失敗を想定して備えることです。エージェントを構築または導入するチームは、次の手順から始められます。
- 封じ込めの仕組みと確実に作動するキルスイッチを最初からエージェントに組み込み、本番環境に移す前に両方を確認します。
- 高い権限を持つエージェントのベンチマークを行う際は、機密性の高い試験環境をパブリックなインターネットから隔離します。
- エージェントがAPIを呼び出したり外部ツールを実行したりする前に、厳格な権限設定とセキュリティ審査を義務づけます。
- クレジットカード、決済基盤、主要なファイルストレージへの、監視のない直接アクセスはエージェントに与えず、検証の仕組みが整うまでは、予約サービスのような機密性の高いアカウントへのアクセスも制限します。
- 不透明なモデルを別の不透明なモデルで監視することは避けます。積み重なる誤りが隠れてしまうおそれがあります。
- 重要な公共サービスで顧客対応にあたる音声エージェントには、通話を人間に引き継ぐ明確な経路を用意します。
- 単一のモデル提供企業が組み込んだガードレールを信頼するのではなく、独立したセキュリティ・検証ツールに頼ります。
エージェントは今後も新しい能力を身につけ、そのたびに新しい失敗の形が生まれます。今のうちにブレーキと権限管理を組み込んでおくチームほど、将来エージェントにより大きな仕事を任せやすくなるでしょう。