2020年8月11日、CitibankはRevlonの貸し手に約$780万の利息を送金するはずでした。ところが実際には、自行の資金$8億9,390万を送ってしまいました。ローン管理画面は3つの抑止チェックボックスへの入力を求め、システムは資金が銀行から流出するという警告を表示し、オペレーターと2人の承認者の全員が承認していました。手続き上の統制はすべて存在していたのに、それでも資金は外へ出ていったのです。この失敗は、いま多くの企業が直面する問題、つまり実際のバックエンドシステムを操作するAIエージェントにどれだけの権限を渡すべきかを考えるうえで、有用な視点になります。ニューヨークのクオンツ系ヘッジファンドであるTwo Sigmaのアーキテクチャ部門の幹部が示したフレームワークは、答えはエージェントを縛り付けることではなく、速く動きながらも止まれるようにする「ブレーキ」に相当する仕組みを作ることだと主張しています。

Citibankで実際に何が起きたのか

Revlonには2016年に組成されたシンジケートタームローンがあり、ヘッジファンド、クレジットファンド、ローン担保証券(CLO)など300を超える貸し手に分散していました。Citibankは管理エージェント、つまり借り手と貸し手をつなぐ配管の役割を担っていました。8月11日の計画は、発生した利息を分配し、元本の現金を一切動かさずに新しい融資枠へ元本をロールオーバーすることでした。

Citibankの担当者は、企業向けローン管理プラットフォームのOracle Flexcubeを使っていました。全貸し手への利息配分を計算するには、オペレーターはローンの全額返済を仮想的に記録する必要がありました。元本が送金されないようにするため、インターフェースは3つの構成要素について抑止ボックスにチェックを入れることを求めており、それぞれがCitibank内部のウォッシュ口座(番号3003000023)に紐づいていました。

Flexcubeの項目 必要な操作 実際の結果
Principal(元本) チェックを入れ、ウォッシュ口座へ振り向ける チェック済み
Front チェックを入れ、ウォッシュ口座へ振り向ける 未チェック
Fund チェックを入れ、ウォッシュ口座へ振り向ける 未チェック

FrontとFundが未チェックのままだったため、Flexcubeは元本全額を外部への現金支払いとして処理しました。ソフトウェアは資金が銀行から出ていくという確認警告を表示しました。オペレーターとその後の2人の承認者は、これを通常の利息分配の通知と読み取り、処理を続行しました。Citibankは自行のバランスシートから$8億9,390万を送金したのです。

チェックの入っていない2つのボックスと警告ダイアログのあるフォームの前で、3人の承認者が親指を立て、現金が机から滑り落ちていく

▲ 通過した手続き上の確認と失敗した支払い

貸し手側は「discharge for value(対価による債務消滅)」という法理を根拠に返金を拒みました。Revlonのディストレス債は額面の約60%で取引されていたため、元本の100%を即座に受け取れたことは思いがけない利益でした。業界の対応は契約面でのものでした。市場全体の与信契約に第9.21条「誤払い(Erroneous Payments)」条項が追加され、貸し手は誤った支払いをフェデラルファンド金利による利息を付けて2営業日以内に返還することが義務づけられ、discharge for valueの抗弁は放棄されることになりました。

なぜこれがAIエージェントに当てはまるのか

人間のオペレーターは非決定的です。複雑なエッジケースの状況下では、手順を飛ばし、ダイアログを読み違え、確認を機械的に承認してしまいます。大規模言語モデルのエージェントも同じように振る舞います。組織がエージェントに企業システムへの実行権限を与えた瞬間、Citibankが人間に対して直面したのと同じジレンマを引き継ぐことになります。本当の自律性は壊滅的なミスのリスクを伴い、自律性ゼロではエージェントがもたらすはずだった効率が消えてしまうのです。

よくある枠組みでは、安全性とイノベーションを1本のスライダーの両端として扱います。このフレームワークはその見方を退けます。安全性が足りなければ存続を脅かす運用上・規制上のリスクが生まれ、イノベーションが足りなければ企業はゆっくりと死んでいきます。どちらの失敗も現実のものであり、目標は両方を同時に避けることです。

よく使われる4つの戦略は、この基準を満たしません。

  • すべてをサンドボックス化する: 本番ツールから切り離されたエージェントにはビジネス価値がありません。
  • すべてをロックダウンする: エンジニアは制限を迂回し、監視されないシャドーAIを作ります。
  • エージェントを野放しにする: 適切なコンテナ分離なしで提供されている一部のオープンソースのエージェントフレームワークを含め、封じ込めのないランタイムは惨事を招きます。
  • ポリシー文書だけに頼る: 書面のルールやシステムプロンプトは、実行時に強制できません。

組み合わせ可能な5つの統制

提案されているアーキテクチャは、連携して機能する5つの専門的な統制で構成されています。エージェントレジストリ、リスク要因スコアリング、アクティビティ統制、評価、そして自動モード分類器です。それぞれが、エージェントが企業全体に広がる際に現れる特定のボトルネックを狙っています。

エージェントレジストリ: 摩擦のない入口

最初の問題はスプロール(無秩序な増殖)です。チャットボット、マイクロサービス、Jupyter Notebookのプロトタイプ、社内ツールがチームをまたいで増え続け、誰がエージェントを所有し、どのAPIエンドポイントに触れ、どの外部ツールを呼び出し、どのデータを読めるのか、誰にも答えられなくなります。

反射的な対処法、つまりプロトタイプを作る前に委員会のレビューを必須にするやり方は、待ち行列を生み、エンジニアにアイデアの放棄や追跡されないエージェントの構築を促してしまいます。代わりにこのフレームワークは、社内で承認されたエージェント構築フレームワークに組み込まれた自動レジストリを使います。開発者が標準ツールでエージェントを作ると、レジストリはバインドされたエンドポイント、宣言されたツール、コードの依存関係、所有者のメタデータを自動的に記録します。標準外の実装には手動登録も残されています。レジストリは企業の製品カタログに情報を供給するため、エージェントは人間からも、プログラムからも、他のエージェントからも発見でき、検査できるようになります。

リスクスコアリング: 差をつけた審査

2つ目の問題は、画一的なレビューです。JiraやLinearのチケットを要約するエージェントは、本番環境にコードをデプロイするエージェントよりはるかに危険度が低いにもかかわらず、セキュリティ、法務、リスク、部門横断の委員会を通る単一の重いパイプラインには8週間以上かかることがあります。些細な要約エージェントが承認を2か月待たされれば開発者は回避策に向かい、レビュー担当者は低リスク案件に埋もれて注意力が鈍り、本当に危険なエージェントが来たときに見逃しやすくなります。

統制の内容は、作成時とすべての更新時に、要求するツール、接続先エンドポイント、アクセスするデータセット、宣言された目的に基づいてリスクを自動スコアリングすることです。PiやClaude Codeのようなオープンエンドのコーディングエージェントは、ユーザープロンプトで何でも要求できるため、静的なスコアリングが困難です。しかしこのフレームワークが着目するのは、社内の企業向けエージェントの圧倒的多数が、狭く理解しやすい範囲で特定目的のために作られているという点です。そのため、宣言されたツールとエンドポイントから正確にスコアリングでき、高リスクのシステムだけが人間のレビューに回されます。

アクティビティ統制: イグレスプロキシで強制するスコープ付きアクセス

3つ目の問題は、差をつけたアクセスです。エージェントはロールアカウント、社内APIエンドポイント、データベース、外部Web検索、他のエージェントに接続します。広範なロールアカウント権限は、公開Webページを取得するよりはるかに大きな損害を可能にするため、本当の問いは「このエージェントはこのタスクを許可されているか」から「このタスクに必要な最小限のアクセスは何か」へと移ります。

外部向け通信の全面禁止は誤った答えです。安全ではあっても、検索、社内API呼び出し、リモートデータの取得を遮断してしまうため役に立ちません。ジョン・シェッドの言葉とされる格言が当てはまります。港にいる船は安全だが、船はそのためにあるのではない、というものです。

解決策は、権限付与を宣言された目的に結びつけることです。エージェントの作成者が約500件のカタログから実際に必要な3つか4つのツールを選ぶと、ポリシーはそれに従います。

リソース リサーチ要約エージェント 本番デプロイエージェント
外部Web検索 許可 ブロック
社内APIエンドポイント ブロック 許可
デプロイ権限 ブロック 許可

強制は、マネージドKubernetes環境で実行時に行われます。エージェントのPodが起動すると、レジストリに問い合わせて自身のリスクプロファイルに合ったポリシーを取得します。エージェントコンテナと同じ場所に配置されたイグレスプロキシが、承認済みの宛先への接続を許可し、それ以外をすべて遮断します。権限が変わっても、ITチケットや帯域外のファイアウォール変更は不要です。

透明な箱の中のロボットから伸びるケーブルが1つのゲートを通ってデータベースとクラウドにつながり、他のケーブルは遮断されている

▲ 宣言したアクセス範囲を強制するイグレスプロキシ

共有評価: エージェントのユニットテスト

4つ目の問題は、分断されたテストです。あるチームはエージェントを0から100で採点し、別のチームは1から5の星で評価し、3つ目のチームは合格・不合格で判定し、4つ目のチームは自動評価をまったく行いません。結果を比較できないのです。評価が重要なのは、基盤モデルがランタイムの依存関係だからです。モデルの差し替えや更新は挙動を変えるため検証が必要で、これは従来のソフトウェアでユニットテストがリグレッションを捉えるのとよく似ています。

プロンプトを少し変えるたびに中央委員会が手動でフルスイートを実行していては、作業が数週間止まります。代替案は、トレースの取り込み、評価処理、レポート連携を担う全社レベルの共有評価フレームワークです。エージェントの作成者は、自分のドメイン固有のアサーションだけを書けば済みます。

自動モード分類器: 承認疲れを終わらせる

5つ目の問題は、Citibankの事例に最も直接的に重なるものです。人間のレビュー担当者が無害な操作のすべてに承認を求められると、疲労が蓄積し、承認は反射的なクリックになります。あるインシデントがその危うさを物語っています。あるAI研究ディレクターがOpenClawのメールアシスタントを使って削除候補のメールを提案させたところ、エージェントはコンテキストウィンドウを圧縮する際に確認を待つという指示を落とし、受信箱のメッセージを数百件削除してしまいました。ここから、より広い注意点が浮かび上がります。長いコンテキストウィンドウでプロンプトベースの制約に頼るのは危険です。圧縮によって制約が静かに消えてしまうことがあるからです。

解決策は、ツール呼び出しを3つの結果に振り分ける保守的な多層分類器です。

階層 経路 例
許可 高速パス、決定的ルール ほぼ毎回承認されるであろう日常的で低リスクのツール呼び出し
人間に確認 低速パス、多段階レビュー 曖昧な操作、または危険になり得る操作
ブロック 高速パス、決定的ルール 明示的に禁止された呼び出し

低速パスでは、エスカレーションするかどうかを決める前に、プロンプトインジェクションの検査と段階的なレビューを実行します。人間の判断は、それが本当に価値を生む、まれで影響の大きいケースのために温存されるため、肝心なときにレビュー担当者の注意力が保たれます。

各要素はどう組み合わさるのか

5つの統制を合わせると、1本のパイプラインとして読めます。レジストリを作り、差をつけたリスクをスコアリングし、ガードレールを動かし、評価と指標を共有し、ランタイム保護を統治する、という流れです。この組み合わせによって初日から可視性が得られ、封じ込めが自動化されるため、組織は警告ダイアログと3人の人間の承認に頼って9桁ドル規模のミスを捕まえる必要がなくなります。

Citibankの事例は、手続き、警告、承認者が、強制された境界と同じではないことを示しています。Flexcubeが元本の流出を許したのは、チェックが漏れた時点で、システムの中に構造的にそれを防ぐものが何もなかったからです。エージェントフレームワークは正反対の立場を取ります。エージェントが到達できる範囲は事前に宣言され、リスクをスコアリングされ、ネットワークの端でプロキシによって強制され、共有テストで検証され、人間がプロンプトを目にする前に分類器でフィルタリングされます。こうしたブレーキがあるからこそ、エージェントにはより少ない自律性ではなく、より多くの自律性を与えられるのです。

押さえておきたいポイント

  • 安全性と速度をトレードオフとして扱わず、より速いデプロイを可能にする統制を設計する。
  • 標準フレームワークを通じてエージェントを自動登録し、所有者、ツール、エンドポイントを常に把握しておく。
  • 宣言された目的とツールからリスクをスコアリングし、高リスクのエージェントだけを人間のレビューに回す。
  • 外部向け通信を全面的に禁止したり許可したりするのではなく、リソースごと、目的ごとにアクセスを付与し、イグレスプロキシで強制する。
  • 評価基盤を集約し、すべてのチームが共通の尺度でテストできるようにして、モデル更新を安全に保つ。
  • 操作ごとの人間の承認を、決定的な許可・拒否ルールと、重要なものだけをエスカレーションする分類器に置き換える。
  • システムプロンプトだけを安全統制として頼らない。コンテキストの圧縮で消えることがある。

車にブレーキがあるのは駐車したままでいるためではなく、ドライバーが速く走り、安全に止まれるようにするためです。このフレームワークが示唆するのは、企業がAIエージェントに自社システムを操作させる方法も、同じ論理で形作られるべきだということです。