AIエージェント、つまり文章を書くだけでなく人に代わってタスクを実行するAIシステムは、チャットボットと同じ種類の言語モデルで動いています。変わるのは人が渡すアクセス権で、受信トレイ、カレンダー、ファイル、写真ライブラリがその対象になります。このアクセス権によって、プロンプトインジェクションの危険度が高まります。プロンプトインジェクションとは、AIが読むコンテンツに仕込まれた指示によって、AIが本来のタスクから引き離されてしまうことを指します。一般のユーザーにとって最も役に立つ安全習慣は、タスクに必要なものだけをエージェントに渡すことです。

文章を書くことから行動することへ

行動を可能にする部品がコネクタです。コネクタとは、AIアシスタントを別のアプリケーションやアカウントにつなぐアクセス許可のことです。これによってモデルは、手作業でエクスポートしなくてもユーザーのデータを作業用のテキストに取り込めるようになり、そのアプリケーションの中でユーザーに代わって操作を実行できるようになります。

ChatGPT、Claude、Geminiはいずれもコネクタを提供していますが、すべてのツールが3つすべてにつながるわけではありません。対象は多岐にわたります。

簡単な例で違いがわかります。同僚に厳しいフィードバックを伝えるメールの語調を和らげたいとします。

構成 ユーザーがすること AIがすること
コネクタなし 6ステップ:同僚のメールをチャットにコピーする、自分の下書きをコピーする、修正を頼む、内容を確認する、貼り戻す、送信を押す 文章を修正する
コネクタと確認 3ステップ:AIにメールと下書きを探して修正するよう頼む、修正を確認する、自分で送信する 探す、読む、修正する
コネクタで完全に任せる 指示1つ 探す、読む、修正する、送信する

3つ目の選択肢は、少しばかり危険寄りの使い方です。メッセージが送られる前に、人が何も確認しなくなるからです。実用上の区別は機能にあります。生成AIはコンテンツを作ることに重点を置き、エージェント型AIは行動を起こすことに重点を置きます。

モデルは変わらない

「エージェント型AI」という言葉は、この技術を実際以上に神秘的で強力なものに感じさせることがあります。しかし、基盤となるモデルは変わりません。これまでどおり、次のトークン(テキストの小さなかたまり)を1つずつ予測しています。コネクタがモデルの学習や中核の仕組みを変えることはありません。

変わるのは、モデルが出力するテキストの種類です。人に向けた文章の代わりに、JSONで短い構造化リクエストを書きます。JSONは、ソフトウェアが確実に読み取れるテキスト形式です。コネクタを有効にすると、モデルのコンテキストウィンドウ、つまり応答の前に読む作業用テキストに、指示が自動的に追加されます。この指示には、利用できるツール、そのパラメータ名、リクエストが従うべき正確な形式が並んでいます。

「今日は何を着ればいい?」という質問を例に取ります。モデルは、良い答えには天気のデータが必要だと判断します。そこで、get_weatherというツールを指定し、場所をSan Francisco, CAとしたリクエストを書きます。ユーザーの目に触れる前に、ソフトウェアの層がそのリクエストを受け止めます。ここではこの層をコネクタマネージャーと呼びます。これは説明のための呼び名で、業界用語ではありません。コネクタマネージャーはリクエストを天気サービスに送り、「冷たい霧」という返答をコンテキストウィンドウに戻します。モデルは更新されたテキストをもとにもう一度動き、フリースを勧めるごく普通の文を書きます。

ロボットが窓口越しにカードを係員に渡し、係員がそれを電線で霧に包まれた気象観測所へ中継している様子

▲ ツールリクエストが外部サービスに届く流れ

モデル自身が外の世界に触れることはありません。モデルは形式の整った指示を出力し、周囲のソフトウェアがそれを実行します。モデルがこうした構造化メッセージを外部のソフトウェアに送る仕組みは、Model Context Protocol(MCP)として定式化されています。メッセージを受け取るサービスはMCPサーバーと呼ばれます。コネクタを使うのにMCPを深く理解する必要はありませんが、この用語はいまや業界のブランディングでよく使われています。

モデルは確率で動くため、細部を誤ることがあります。実際のツール名がget_weatherなのに、check_weatherというツールを要求するかもしれません。コネクタはそのようなリクエストを解決できないので、システムが誤りに気づいて回復しなければなりません。

エージェントを構成する7つの要素

きちんと定義されたエージェントは、詳細な作業範囲記述書のように読めます。チームの夕食会を調整するエージェントを考えてみます。

  1. 目標:全員が参加できる確定済みの予約がカレンダーに入っていること。
  2. コンテキスト:チームのメンバー、勤務時間、食事上の制約、希望するレストランの種類。
  3. ツール:カレンダーのコネクタと、Slackやメールなどのメッセージングのコネクタ。
  4. 権限:エージェントが全員の空き状況を自由に読んでよいか、人にメッセージを送る前に承認が必要か。
  5. メモリ:過去の夕食会や好みを覚えているか、毎回ゼロから始めるか。
  6. アクション:空き状況を確認する、招待文を下書きする、送信する、返信を追跡する、都合が合わなければ別の日を試す。
  7. 停止条件:成功、つまり予約の確定か、失敗の上限。たとえば3回失敗したらタスクを人に引き継ぐ。

停止条件は、チャットに慣れた人にとって最も新しく、最も重要な項目です。エージェントはループで動きます。コンテキストを分析し、ツールリクエストを出して行動し、結果を観察し、また最初に戻ります。明確な停止点がなければ、ループはいつまでも回り続けるおそれがあります。観察も2つのレベルで行われます。リクエストが技術的に成功したかどうかと、返ってきたデータが目標に役立つかどうかです。

人がどこまで関与するか

どのエージェント設計も、2つの問いに答えることになります。人がいつ知らされるのか、そして人がいつ手順を承認または阻止する権限を持つのかです。コネクタなしの場合、人はすべての手順に関わります。コネクタと確認を組み合わせた場合、機械的な作業はなくなりますが、何かが送信される前に人が承認する点は変わりません。完全に任せる場合は、人の関与がなくなります。

人による確認は、高度な構成でも価値を保ちます。GoogleのDistinguished Engineerが大規模ソフトウェアプロジェクト向けに開発したパターンでは、1つのエージェントが30~40分かけて人にインタビューし、4~6ページの作業範囲記述書を書きます。続いて、背景知識を持たない新しいエージェントたちが、その文書が単独で成り立つかどうかを検証します。このループは人なしでも回せますが、推奨される運用では人をループに残し、些末な質問を退け、実装が始まる前に最終文書を確認します。

最悪の結果を問う

役に立つ演習があります。とりわけ悲観的な最高情報セキュリティ責任者になったつもりで、どのエージェントに対しても1つの問いを投げかけるのです。起こりうる最悪の事態は何か。3つの仮想エージェントで、この演習の進め方を見てみます。

  • 寮の修繕依頼エージェント。スマートフォン内の写真をすべて閲覧でき、Microsoft Outlookでメールを送れます。水漏れする窓の写真を見つけ、施設管理担当にメールを送り、返信を最大24時間待ちます。
  • 就職活動アシスタント。LinkedInのメッセージを読んで送信し、企業の背景情報をウェブで検索し、1か月間動き続けます。
  • ディスククリーンアップエージェント。ノートPC上のあらゆるファイルを読み取り、完全に削除できます。ストレージが目標値を下回るまで、6か月間触れられていないダウンロードフォルダのファイルを削除します。

失敗のパターンはすぐに見つかります。クリーンアップエージェントは、6か月間変更されていないアプリケーションやシステムのファイルを削除してしまうかもしれません。それらは実行されるだけで編集されることがないために、変更されていないにすぎません。また、すでに亡くなった祖父母と一緒に写った写真の唯一のコピーのような、かけがえのないものを消してしまうおそれもあります。修繕依頼エージェントは、誤った部屋の情報を24時間ごとにメールで送り続けて職員の時間を無駄にしたり、敵対的に読めるフォローアップを書いたりするかもしれません。写真ライブラリ全体にアクセスできるため、パスポートのページの写真を作業依頼に添付してしまう可能性もあります。

ノートPCの横で、清掃ロボットが持つクリップボードのリストを確認する人物。家族写真とパスポートは脇に取り分けられている

▲ エージェントのファイル削除前に行う人の確認

プロンプトインジェクションがエージェントでより重大になる理由

就職活動アシスタントには別種のリスクがあります。プロンプトインジェクションとは、AIが読むことになるコンテンツの中に指示を仕込む行為です。このエージェントはリクルーターからのメッセージやウェブ検索の結果をコンテキストウィンドウに取り込むため、信頼できない外部のテキストが、持ち主の指示と同じ場所に入ります。ページやメッセージには、それまでのタスクをやめて別のことをするようモデルに命じる文言が含まれている可能性があります。

モデルがメッセージを送信でき、非公開のデータを読め、ファイルを削除できる場合、インジェクションが成功すれば現実の行動につながりかねません。モデルは確率で動くので、だまされる可能性がゼロになることはありません。広い権限を与えていれば、わずかな可能性であっても不要なリスクです。

仕込まれたテキストに自動システムがいかにたやすく従うかを示す、肩の凝らない例があります。自動送信のリクルーターメッセージにうんざりした一部のLinkedInユーザーは、送り主がお気に入りのミネストローネスープのレシピを教えてくれた場合に限り会話を続ける、と返信しています。人間のリクルーターなら、この妙な条件にすぐ気づきます。自動化された採用ボットはレシピを調べて送り、自分がボットであることを明かしてしまいます。

最小権限を標準に

3つの例のエージェントには共通の欠陥があります。権限が広すぎることです。対策は、最小権限の原則と呼ばれるセキュリティの基本ルールです。エージェントには、タスクに必要な特定のリソースへのアクセスだけを与えるべきです。

修繕依頼エージェントの場合は、スマートフォンのすべての写真ではなく、水漏れを写した直近の3枚だけを渡すことになります。クリーンアップエージェントの場合は、一括して削除できる権限を持たせるのではなく、人が承認するための候補リストを作らせることになります。複数のエージェントからなるシステムでは、それぞれに、より絞り込んだツール、メモリ、権限を個別に持たせることができます。

アカウントを接続する前にやること

エージェントはチャットボットと違う考え方をするわけではありません。違うのはつながり方です。リスクはモデルそのものよりも、モデルに与えられた到達範囲から生じるように見えます。そしてその範囲は、ユーザーが制御できるものです。アクセスを許可する前に、次のような習慣が役立ちます。

  • エージェントの目標、コンテキスト、ツール、権限、メモリ、アクション、停止条件を書き出し、そのうえで最悪の結果は何かを問います。
  • 何かが送信されたり変更されたりする前に、下書きや提案された操作を自分で確認する構成から始めます。
  • 読み取りの権限と、書き込みや送信の権限を分けます。
  • フォルダ、受信トレイ、写真ライブラリの全体ではなく、タスクに必要な特定のファイルや項目だけを共有します。
  • エージェントがウェブや受信メッセージから読み取るものはすべて、仕込まれた指示を含んでいる可能性があるものとして扱います。
  • 自分の承認なしに、完全な削除や第三者へのメッセージ送信を許可しません。
  • 明確な成功状態と再試行の上限を決め、上限に達したらエージェントがタスクを自分に戻すようにします。

最悪の結果を問うことは、悲観に浸ることではありません。システムがどう失敗しうるかを、好奇心と少しのいたずら心で探る方法であり、設定する価値のあるガードレールを直接指し示してくれます。