2020년 8월 Citibank는 $780만의 이자를 보내려다 $8억9,390만을 송금했습니다. 담당자가 있었고, 그 뒤에 승인자가 두 명 더 있었고, 시스템은 "자금이 은행 밖으로 나간다"는 경고창까지 띄웠습니다. 그런데도 돈은 나갔습니다. 대형 퀀트 헤지펀드 Two Sigma의 아키텍처·엔지니어링 담당 수석 부사장은 이 사고를 AI agent(스스로 도구를 골라 작업을 수행하는 AI) 통제 설계의 출발점으로 삼습니다. 사람이든 LLM이든 실행 권한을 쥔 주체는 비결정적이고, 그래서 "전부 잠그기"와 "전부 풀기" 사이에서 고르는 대신 자동차의 브레이크처럼 빠르게 달리면서도 멈출 수 있는 장치를 설계해야 한다는 것이 핵심입니다. 그가 제시한 다섯 가지 통제 장치를 한국 독자 관점에서 정리합니다.

절차가 모두 작동했는데도 $9억이 나간 이유

사고의 구조부터 보겠습니다. 화장품 회사 Revlon은 2016년에 300곳이 넘는 대출자(헤지펀드, 크레딧 펀드, CLO 등)로부터 신디케이트 대출을 받았고, Citibank는 그 대출의 관리 은행 역할을 맡아 이자와 원금 흐름을 중개했습니다. 2020년 8월 11일의 작업은 단순했습니다. Revlon이 낸 약 $780만의 이자를 대출자들에게 나눠 주고, 원금은 실제 현금을 움직이지 않은 채 새 대출 구조로 옮겨 적는 것이었습니다.

문제는 당시 쓰던 대출 관리 소프트웨어 Oracle Flexcube의 작업 방식이었습니다. 각 대출자에게 돌아갈 이자를 정확히 계산하려면 "대출 전액을 상환한 것처럼" 가상의 기록을 입력해야 했고, 이때 원금이 실제로 송금되지 않도록 Front, Fund, Principal 세 항목을 내부 정산용 계정(wash account, 번호 3003000023)으로 돌린다는 체크를 넣어야 했습니다.

요구된 작업 실제 벌어진 일
Front, Fund, Principal 세 항목 모두 내부 계정으로 지정 Principal만 지정하고 Front, Fund는 체크하지 않음
담당자 입력 뒤 승인자 두 명이 검토 세 사람 모두 누락을 발견하지 못함
"자금이 은행 밖으로 나간다"는 경고창 확인 평소의 이자 분배 안내로 여기고 통과
$780만 이자만 송금 Citibank 자체 자금 $8억9,390만을 대출자들에게 송금

송금 직후 대출자들은 돈을 돌려주지 않았습니다. 받을 권리가 있는 돈을 받았다면 돌려줄 의무가 없다는 discharge for value 법리를 근거로 삼았습니다. 당시 Revlon의 부실 채권은 액면가 $1당 약 60센트에 거래되고 있었으니, 100%를 즉시 상환받은 대출자들로서는 돌려줄 이유가 없었습니다. 이 사건 뒤 미국 금융권의 대출 계약서에는 9.21조 '잘못된 지급(Erroneous Payments)' 조항이 일제히 추가됐습니다. 잘못 받은 돈은 2영업일 안에 반환하고, discharge for value 주장을 포기한다는 내용입니다.

이 사고에서 주목할 점은 통제 장치가 없어서 생긴 일이 아니라는 사실입니다. 절차, 복수 승인, 경고창이 모두 있었습니다. 다만 경고창은 일상적인 화면과 구분되지 않았고, 사람은 복잡한 조건 아래에서 언제든 실수하는 비결정적 존재였습니다. 규제 산업의 통제 실패를 들여다보면 왜 그 통제가 생겼는지가 선명해진다는 것이 이 사례를 꺼낸 이유입니다.

사람도 agent도 비결정적이라는 전제

이제 같은 실행 권한을 LLM 기반 agent에 주는 상황을 떠올려 봅니다. 기업 백엔드에 접근해 작업을 수행하는 agent는 Flexcube 앞에 앉은 담당자와 본질적으로 같은 위치에 있습니다. 자율성을 주면 큰 사고가 날 수 있고, 자율성을 빼앗으면 agent를 쓰는 이유가 사라집니다.

여기서 흔한 생각은 안전과 혁신이 하나의 슬라이더 양 끝에 있어 한쪽을 올리면 다른 쪽이 내려간다는 것입니다. 이 설계 원칙의 출발점은 그 전제 자체가 틀렸다는 진단입니다. 안전이 부족하면 운영·규제상 회사의 존립이 흔들리고, 혁신이 부족하면 천천히 죽습니다. 둘 중 하나를 고르는 문제가 아니라 둘 다 확보해야 하는 문제입니다.

그래서 흔히 쓰이는 네 가지 대응이 왜 실패하는지도 분명해집니다.

  • 모든 것을 sandbox(외부와 끊긴 격리 환경)에 가두기: 실제 도구와 연결되지 않은 agent는 쓸모가 없습니다.
  • 전부 잠그기: 개발자들이 감시 밖에서 몰래 쓰는 shadow AI를 낳습니다.
  • 아무 제약 없이 풀어 두기: 사고를 부릅니다. 기본 격리가 없는 오픈소스 agent 런타임을 그대로 기업에 들이는 것도 여기에 해당한다고 봅니다.
  • 정책 문서만 쓰기: 문서는 실행 시점에 아무것도 강제하지 못합니다.

체크박스 두 개를 놓친 화면과 승인하는 세 사람

▲ 절차가 있어도 생기는 실수

다섯 가지 조합형 통제 장치

Two Sigma가 내놓은 답은 서로 독립적이면서 조합해 쓸 수 있는 다섯 가지 장치입니다. 각 장치는 특정한 병목 하나를 겨냥합니다.

문제 잘못된 대응 제안하는 장치
agent가 팀마다 흩어져 누가 무엇을 쓰는지 모름 모든 시제품에 사전 위원회 심사 자동 등록되는 agent 등록부(Agent Registry)
위험도와 무관하게 같은 심사 보안·법무·리스크·위원회를 거치는 8주 이상 파이프라인 선언된 목적과 도구 기반의 자동 위험 점수
접근 범위가 넓을수록 피해도 커짐 외부 트래픽 전면 차단 자원 단위로 선언하고 egress proxy로 강제하는 활동 통제
팀마다 다른 평가 기준 모든 변경을 중앙 평가 게이트에 통과시키기 회사 차원의 공유 eval 프레임워크
승인 요청이 너무 많아 반사적으로 승인 모든 행동에 사람 승인 허용·에스컬레이션·차단을 가르는 다단계 자동 분류기

1. 등록부: 심사 대기열이 아니라 자동으로 열리는 정문

첫 병목은 agent의 난립입니다. 챗봇, 마이크로서비스, Jupyter 노트북 시제품, 내부 도구가 팀마다 생겨나면 누가 소유자인지, 어떤 API를 건드리는지, 어떤 외부 도구를 실행하는지, 어떤 데이터 권한을 갖는지 아무도 답할 수 없게 됩니다. 이를 막으려고 모든 시제품에 사전 심사를 강제하면 대기열이 길어지고, 엔지니어는 아이디어를 포기하거나 등록하지 않은 agent를 몰래 만듭니다.

제안은 회사가 승인한 agent 개발 프레임워크를 쓰면 자동으로 등록되는 등록부입니다. 등록 시점에 연결된 endpoint, 선언한 도구, 코드 의존성, 소유자 정보가 기록되고, 이것이 사내 제품 카탈로그와 연결됩니다. 사람도, 프로그램도, 다른 agent도 등록부를 조회해 기존 agent와 도구를 찾아 재사용할 수 있습니다. 표준 프레임워크를 쓰지 않는 경우를 위해 수동 등록도 열어 둡니다. 개발자 입장에서는 추가로 할 일이 없는데 회사 입장에서는 첫날부터 전체가 보이는 구조입니다.

2. 위험 점수: 요약 봇과 배포 봇을 같은 줄에 세우지 않기

Jira나 Linear 티켓을 요약하는 agent와 운영 환경에 코드를 직접 배포하는 agent는 위험이 전혀 다릅니다. 그런데 둘을 보안, 법무, 리스크, 부서 간 위원회를 모두 거치는 하나의 심사에 넣으면 8주 이상이 걸리고, 사소한 요약 봇 하나가 두 달을 기다리게 됩니다. 개발자는 우회로를 찾고, 심사자는 저위험 건에 파묻혀 정작 위험한 건을 볼 집중력을 잃습니다.

그래서 등록부가 가진 정보, 즉 요청한 도구, 접속할 endpoint, 접근할 데이터, 선언된 목적을 바탕으로 생성 시점과 매 갱신 시점에 자동으로 위험 점수를 매기고, 점수가 높은 agent만 사람이 들여다봅니다. 한 가지 단서가 있습니다. Pi나 Claude Code 같은 범용 코딩 agent는 사용자의 prompt에 따라 무엇이든 할 수 있어 정적인 점수를 매기기 어렵습니다. 하지만 기업 내부 agent의 대다수는 역할과 범위가 정해진 목적형 agent이고, 이들은 도구와 endpoint를 미리 선언할 수 있으므로 자동 점수가 잘 맞습니다.

3. 활동 통제: 역할 계정·API·도구·데이터 저장소 단위로 권한을 자르기

agent가 닿는 대상은 다양합니다. 역할 계정, 내부 API endpoint, 데이터베이스, 외부 웹 검색, 동료 agent까지 있습니다. 기능이 넓어질수록 공격 표면도 넓어지고, 넓은 역할 계정 권한을 주면 공개 웹 페이지를 읽게 하는 것과는 비교할 수 없는 피해가 가능해집니다. 질문은 "이 agent가 이 일을 해도 되는가"에서 "이 일에 정확히 어느 정도의 접근이 필요한가"로 바뀌어야 합니다.

가장 흔한 잘못된 대응은 agent의 외부 트래픽을 전부 막는 것입니다. 안전하지만 쓸모가 없습니다. 검색도, 내부 API 호출도, 원격 데이터 조회도 못 하는 agent 앞에서 팀은 프로젝트를 접거나 감시되지 않는 취약한 우회로를 만듭니다. "항구에 있는 배는 안전하지만 배는 그러라고 있는 것이 아니다"라는 격언이 여기에 쓰입니다.

제안하는 방식은 agent가 목적과 필요한 자원을 미리 선언하고, 그 선언에 맞춰 권한을 주는 것입니다.

자원 연구 요약 agent 배포 agent
외부 웹 허용 차단
내부 데이터 저장소 차단 선언된 목적에 따라 결정
내부 API endpoint 차단 허용
배포 권한 차단 허용

개발자는 500개쯤 되는 도구 카탈로그에서 실제로 필요한 서너 개만 고릅니다. 이 선언은 Kubernetes 컨테이너 환경에서 실행 시점에 강제됩니다. agent 인스턴스 pod가 뜰 때 등록부에 자기 위험 프로필에 해당하는 정책을 물어보고, 같은 pod 안에 있는 egress proxy(나가는 트래픽을 가로채 걸러 주는 중계 장치)가 허용된 목적지로의 연결만 통과시키고 나머지는 끊습니다. 권한이 바뀔 때마다 IT 티켓을 내고 방화벽 승인을 따로 받을 필요가 없어집니다.

컨테이너 출구에서 허용된 연결만 통과시키는 모습

▲ egress proxy의 자원별 차단

4. 공유 eval: 평가 인프라는 회사가, 검증 항목은 팀이

같은 회사 안에서도 A팀은 0~100점, B팀은 별 1~5개, C팀은 통과/실패, D팀은 아예 평가 없음 식으로 제각각이면 agent 간 비교가 불가능합니다. 기반 모델은 agent의 런타임 의존성이어서, 모델이 바뀌면 전통 소프트웨어에서 단위 테스트를 돌리듯 검증이 필요합니다. 그렇다고 prompt 한 줄, 설정 하나 바꿀 때마다 중앙 위원회가 전체 테스트를 돌리게 하면 변경이 몇 주씩 멈춥니다.

해법은 회사 차원에서 유지하는 공유 eval(평가) 프레임워크입니다. trace(agent 실행 기록) 수집, 평가 처리, 보고 도구 연동 같은 공통 인프라는 회사가 제공하고, 각 팀은 자기 agent에 맞는 검증 조건과 업무 논리만 작성합니다.

5. 자동 모드 분류기: 사람에게는 정말 판단이 필요한 것만

마지막 병목은 승인 피로입니다. 무해한 행동에 대한 승인 요청이 끊임없이 쏟아지면 사람은 생각 없이 "예"를 누르게 되고, 어느 순간 위험한 행동도 그렇게 통과합니다. Citibank의 경고창이 그랬습니다. 실제 사례도 있습니다. 한 AI 연구 책임자가 OpenClaw 기반 이메일 비서에게 삭제할 메일을 추천해 달라고 했는데, agent가 context window(모델이 한 번에 기억하는 입력 범위)를 압축하면서 "확인을 기다리라"는 안전 지시를 잃어버렸고, 허가 없이 수백 통의 메일을 지웠습니다. 긴 context 안에서 prompt에만 의존하는 제약은 압축 과정에서 조용히 사라질 수 있다는 경고입니다.

모든 행동에 사람 승인을 요구하는 것은 답이 아닙니다. 읽기, 수정, 테스트, 커밋, 배포 단계마다 agent가 멈춰 서서 승인을 기다리면 지연만 쌓입니다. 제안은 보수적으로 설계한 다단계 자동 분류기로 행동을 세 갈래로 나누는 것입니다.

  • 빠른 경로: 명시적이고 결정적인 규칙으로 일상적인 저위험 도구 호출은 즉시 허용하고, 금지된 호출은 즉시 차단합니다. 99.99999%가 승인되는 행동이라면 사람에게 물을 것이 아니라 규칙으로 적어야 합니다.
  • 느린 경로: 모호하거나 비결정적이거나 위험할 수 있는 행동은 prompt injection(입력에 숨긴 지시로 모델을 조종하는 공격) 점검과 다단계 검토를 거쳐 사람에게 올릴지 결정합니다.
  • 사람의 판단은 드물고 결과가 큰 경계 사례에만 씁니다.

브레이크는 멈추기 위해서가 아니라 빨리 달리기 위해 있다

다섯 장치를 한 줄로 이으면 이렇습니다. 등록부를 만들고(Create), 위험을 차등 평가하고(Score), guardrail(안전 장치)을 실행하고(Run), eval과 지표를 공유하고(Share), 런타임을 통제합니다(Govern). 함께 쓰면 첫날부터 전체가 보이고, 격리와 심사는 자동으로 돌아갑니다.

자동차에 브레이크가 있는 이유는 차를 세워 두기 위해서가 아니라, 필요할 때 멈출 수 있다는 확신 아래 빠르게 달리기 위해서입니다. AI agent의 통제 장치도 같은 역할입니다. 잠그는 대신 어디까지 갈 수 있는지를 자원 단위로 정해 두고, 언제든 끊고 멈출 수 있게 해 두면 오히려 더 큰 자율성을 줄 수 있다는 것이 이 설계 원칙의 결론입니다. 안전과 속도는 서로를 갉아먹는 관계가 아니라 서로를 가능하게 하는 관계라는 뜻으로 읽힙니다.

기업에서 agent를 도입하거나 운영하는 독자라면 다음 순서로 점검해 볼 만합니다.

  1. 지금 사내에 어떤 agent가 있고 누가 소유자이며 어떤 endpoint와 데이터에 닿는지 한 곳에서 답할 수 있는지 확인합니다. 답할 수 없다면 심사 절차보다 자동 등록부가 먼저입니다.
  2. 요약 봇과 배포 봇이 같은 심사 줄에 서 있다면, 선언된 목적과 도구를 기준으로 심사 깊이를 나눕니다.
  3. 외부 트래픽을 전면 차단하고 있다면, agent별로 역할 계정·API·도구·데이터 저장소 단위의 허용 목록을 선언하게 하고 컨테이너 수준에서 강제하는 방식으로 바꿉니다.
  4. 팀마다 다른 평가 기준을 쓰고 있다면 공통 인프라를 회사가 맡고 팀은 검증 항목만 쓰도록 분리합니다.
  5. 사람이 승인 버튼을 반사적으로 누르고 있다면, 그것은 사람의 문제가 아니라 설계의 문제입니다. 거의 항상 승인되는 행동은 규칙으로 옮기고, 사람에게는 정말 판단이 필요한 것만 남깁니다.

Citibank의 세 사람은 자기 역할을 했습니다. 문제는 그들이 "멈춰야 할 순간"을 알아볼 수 없게 만든 시스템이었습니다. agent에 권한을 줄 때 같은 질문을 던져 볼 필요가 있습니다.