AI agent(사용자를 대신해 스스로 판단하고 작업을 실행하는 AI 프로그램)에 메시지, 일정, 결제 정보까지 맡겨도 되는지를 두고 Signal Foundation 대표 Meredith Whittaker와 한 정책 싱크탱크의 AI 정책 책임자가 공개 토론을 벌였습니다. 주제는 '우리는 AI agent에 정보를 맡기는 일을 멈춰야 하는가'였습니다. Whittaker는 현재 상용 agent의 구조가 수십 년간 쌓아 온 보안 모델을 무너뜨린다고 주장했고, 정책 전문가는 초기 결함을 이유로 기술을 버리면 오히려 개인정보에 관심 없는 사업자에게 미래를 넘겨주게 된다고 맞섰습니다. 이 글은 양쪽 논리를 나란히 놓고, 독자가 agent에 어떤 일을 맡기고 어떤 일을 맡기지 말아야 할지 판단할 기준을 정리합니다.

쟁점 1: agent가 일을 하려면 얼마나 많은 권한이 필요한가

Whittaker의 출발점은 agent가 약속하는 기능과 그 기능에 필요한 접근 권한 사이의 관계입니다. 생일 파티를 예약하고 저녁 식사 약속을 잡아 주는 '요술 램프 같은 비서'가 되려면 agent는 연락처, 일정, 신용카드 정보, 메시지 기록, 브라우저 세션에 모두 접근해야 합니다. 그는 이를 사실상 기기의 root 권한(시스템 전체를 제어할 수 있는 최상위 권한)을 요구하는 것과 같다고 봤습니다.

문제는 전통적인 보안 공학이 정반대 원리로 설계되어 있다는 점입니다. 민감한 프로세스는 sandbox(격리된 실행 환경)에 가두고, 서로 다른 영역이 서로를 침범하지 못하게 분리하는 것이 기본입니다. agent는 이 경계를 모두 넘나들어야 쓸모가 생기므로, 격리 모델과 agent 모델은 구조적으로 충돌한다는 것이 그의 논리입니다. 그는 편의를 위해 agent 도입을 서두르는 것을 '수십 년 보안 인프라라는 종자 곡식을 먹어 치우는 일'에 비유했습니다.

정책 전문가는 권한 문제를 다른 각도에서 봅니다. 지난 20년간 인터넷의 거래 구조는 기업이 사용자 데이터를 모아 광고를 팔고 그 대가로 무료 서비스를 주는 방식이었습니다. 그 결과 플랫폼은 사용자에 대해 많이 알지만 사용자는 자기 데이터로 얻는 것이 거의 없었습니다. 그는 agent가 이 거래를 뒤집는다고 주장합니다. 계산 능력이 개인의 손에 들어와 자기 데이터를 자기를 위해 분석하고 실행하게 된다는 것입니다. 그는 자신의 agent로 가족 재정을 점검하고, 일정을 관리하고, 기술 문제를 해결하고, 비교 쇼핑을 한다고 소개했습니다. 과거에는 부유한 사람만 쓰던 비서를 보통 사람도 쓰게 된다는 점에서, agent가 요구하는 접근은 '사용자를 위해 쓰이는 접근'이라는 입장입니다.

쟁점 2: prompt injection은 해결 가능한 결함인가, 구조적 취약점인가

Whittaker가 가장 무게를 둔 기술적 논점은 prompt injection(외부에서 들어온 텍스트가 AI의 지시문처럼 작동해 동작을 가로채는 공격)입니다. 언어 모델은 읽어 들인 문자열이 데이터인지 명령인지 구분하지 못하고, 임의의 텍스트를 사실이나 지시로 받아들입니다. agent가 웹을 자율적으로 돌아다니는 순간 공격 표면이 열립니다.

그는 이미 드러난 사례를 열거했습니다.

사례 내용
Microsoft Copilot 클릭 없이도 기업 데이터를 빼낸 zero-click 공격
Perplexity의 agent 브라우저 Reddit 댓글에 심은 텍스트로 동작을 조종
Anthropic의 Claude Chrome 실험 guardrail(안전장치)을 켠 상태에서도 11%의 비율로 prompt injection에 당함
Google Calendar 초대 agent가 일정 내용을 읽고 스마트홈 보일러를 켬

정책 전문가는 이 취약점을 부정하지 않았습니다. 대신 평가 기준을 바꿔야 한다고 했습니다. 지금의 agent를 완벽한 이상과 비교하면 당연히 부족하지만, 현실의 비교 대상은 이미 데이터 수집으로 가득한 기존 인터넷이라는 것입니다. 대다수 사용자는 Signal 같은 암호화 플랫폼을 쓰지 않고 안전하지 않은 소비자 앱을 씁니다. 초기 메시징 도구도 안전하지 않았지만 버리지 않고 프로토콜을 개선해 왔듯, agent도 같은 궤적을 따를 것이라고 봤습니다. 그리고 agent가 완벽하지 않아도 큰 효용을 준다는 점을 강조했습니다.

웹 페이지의 텍스트가 로봇 비서의 팔을 조종해 보일러를 켜는 장면

▲ prompt injection 사례

쟁점 3: 사람 비서와 무엇이 다른가

사람 비서도 일정, 메시지, 개인 파일에 폭넓게 접근하는데 왜 디지털 비서만 문제인가라는 질문이 나왔습니다. Whittaker의 답은 책임 구조의 차이입니다. 사람 비서는 노동 계약, 윤리 규범, 개인적 책임 아래에서 일하며, 중대한 과실이 있으면 해고됩니다. 반면 agent는 맥락을 이해하지 못한 채 운영체제 전반의 원시 텍스트를 훑는 소프트웨어이며, 주의 의무나 책임을 질 수 없습니다.

그는 이어서 현재 등장하는 agent의 작동 방식을 구체적으로 설명했습니다. 화면 버퍼에서 표시 프레임을 가져오고, 접근성 API(장애인 보조 기능을 위해 화면 요소를 읽을 수 있게 열어 둔 인터페이스)를 이용하고, 반복해서 스크린샷을 찍어 OCR(이미지에서 글자를 추출하는 기술)에 넘긴 뒤, 추출한 텍스트와 추론 작업을 외부 클라우드로 올려 사용자 앱을 조작합니다. 그는 이 기술적 윤곽이 표적 malware(악성 소프트웨어)와 닮았다고 지적했습니다. Chase Bank가 Meta의 agent를 차단한 것도 은행이 웹 세션의 주체가 진짜 사람인지 조종당한 agent인지 확인할 수 없기 때문이라고 설명했습니다.

정책 전문가는 agent를 쓴다고 해서 운영체제 전체에 root 권한을 줘야 하는 것은 아니라고 반박했습니다. agent가 볼 수 있는 파일과 인터페이스를 사용자가 정하는 계층형 접근 제어, 실행 전에 사용자에게 확인을 받는 절차, 테스트와 검증을 거친 점진적 도입이 가능하다는 것입니다. 그 자신은 온라인에서 agent를 읽기 전용으로 쓰고, 제한 없는 쓰기 작업은 허용하지 않는다고 밝혔습니다.

쟁점 4: 상용 agent는 누구 편인가

정책 전문가가 agent를 '사용자 쪽에 선 개인정보 방패'로 묘사하자 Whittaker는 소유 구조를 짚었습니다. 상용 소비자 agent는 사용자의 것이 아니라 기업의 이해관계에 따라 운영되는 proprietary(공개되지 않은 독점) 시스템이라는 것입니다. 그는 Meta의 agent가 Facebook Marketplace에서 사용자를 사칭하다 집 주소를 낯선 구매자에게 알려 줘 그 사람이 현관에 찾아온 사례, agent가 기업의 재무제표와 매출, 대출 신청 계약을 온라인에 노출한 사례를 들었습니다. 또 Meta의 agent가 사용자의 연락처와 상호작용 기록을 모든 당사자의 동의 없이 기록한다는 탐사 보도를 언급하며, 서비스를 쓰지 않는 사람까지 프로필을 쌓는 방식이 Cambridge Analytica의 수법과 닮았다고 했습니다. 그는 이런 agent가 개인에게 agency(자율성)를 주는 것이 아니라, 운영체제 사업자와 중앙화된 AI 기업으로 힘을 되돌리는 '업계 차원의 데이터 수거'라고 규정했습니다. 플랫폼이 backend API는 막으면서 독립 개발자와 웹사이트는 긁어 가는 흐름, Amazon이 Perplexity의 쇼핑 agent를 두고 법적 분쟁을 벌이는 상황도 같은 맥락으로 봤습니다.

정책 전문가는 바로 그 지점에 시장의 기회가 있다고 답했습니다. 광고 모델에서 사용자는 상품이었지만, agent 모델에서는 사업자가 사용자를 대신해 일한 대가를 직접 받으므로 고객 만족과 수익이 같은 방향을 향한다는 것입니다. 일부 개발자가 형편없는 선택을 하겠지만, 시장 압력이 기업을 더 강한 데이터 보호로 밀어 갈 것이라고 봤습니다. 그는 데이터 브로커(개인정보를 모아 파는 업체) 정보 삭제 요청을 자동화한 사례를 들었습니다. 호텔 방에서 Muse라는 agent에 6단어짜리 prompt를 입력해 미국의 주요 데이터 브로커 5곳에서 자기 프로필을 삭제했다는 것입니다. 사람은 긴 개인정보 처리방침을 읽거나 Tor, NoScript 같은 도구를 설정하다 지치지만 agent는 지치지 않는다는 점이 그의 핵심 논거입니다.

로봇 비서가 다섯 개의 서류함을 차례로 닫는 장면

▲ 데이터 브로커 정보 삭제 자동화

쟁점 5: Signal은 왜 직접 안전한 agent를 만들지 않는가

안전한 agent에 상업적 기회가 있다면 Signal이 검증 가능한 개인정보 보호 agent를 만들면 되지 않느냐는 질문에 Whittaker는 분명히 거절했습니다. 이유는 세 가지입니다. 첫째, Signal은 사용자 데이터를 수집하지 않으므로 agent를 학습시키거나 돌릴 데이터셋 자체가 없습니다. 둘째, Signal은 검증 가능한 종단간 암호화 메시징 한 가지를 잘하는 데 집중합니다. 셋째, 모든 것을 해 주는 개인 agent를 만들려면 사용자의 삶을 360도로 감시해야 하는데, 반대로 sandbox를 엄격히 두고 작은 동작마다 사람의 승인을 요구하면 agent를 매력적으로 만드는 자율성 자체가 사라집니다. 그는 agent가 화면을 계속 캡처해 외부 데이터베이스에 모으고 클라우드에서 처리하는 순간 Signal의 수학적 보안 모델은 깨진다고 설명했습니다. 암호화는 앱 계층에서 작동하는데, 화면에서 직접 데이터를 가져가면 그 계층의 보호 장치를 우회하기 때문입니다. 결국 사용자의 보안이 '검증된 암호학'에서 '사업자의 말을 믿는 것'으로 내려앉는다는 것입니다.

정책 전문가는 이에 대해, 네트워크로 연결된 컴퓨팅에서 데이터를 나누는 일이 다른 사람의 프라이버시에 영향을 주는 것은 agent만의 결함이 아니라 본질적 특성이라고 답했습니다. Signal 같은 조직이 어려움을 겪는 것도 전체 통신 경로 가운데 일부만 통제하기 때문이라고 봤습니다. 그는 agent가 '유리창의 사용자 쪽'에서 외부 감시를 막는 방패가 될 수 있다고 거듭 주장했습니다.

쟁점 6: 사용자는 정말 동의할 수 있는가

agent를 뉴스레터만 모아 둔 별도 받은편지함에 가둬 요약만 시키는 식으로 조금씩 써 보면 어떠냐는 제안에 Whittaker는 '우리'라는 주어를 문제 삼았습니다. 보통 소비자가 backend에서 벌어지는 데이터 추출을 정말 알고 있느냐는 것입니다. 과거 플랫폼 연동에서 벌어진 연락처 수집은 투명한 고지 없이 이뤄졌고, 기업 감시를 밝혀내는 일은 사업자의 사전 공개가 아니라 탐사 보도의 몫이었습니다. 소비자는 불투명한 소프트웨어와 빽빽한 약관에 길들여졌고, 컴퓨터 과학 훈련을 받지 않은 대중에게 편의는 malware처럼 작동하는 소프트웨어의 행동을 가리는 포장이 될 수 있다고 그는 경고했습니다. 특히 권위주의 정권 아래의 인권 활동가와 반체제 인사에게 데이터 유출은 구금이나 죽음으로 이어질 수 있다는 점을 여러 차례 강조했습니다.

정책 전문가의 마무리는 완전한 안전은 사람 비서에게도, 컴퓨터 시스템 어디에도 없다는 것이었습니다. 위험은 상대적이고, 계층형 접근 제어와 사용자 검증으로 관리할 대상이라는 입장입니다. 그리고 agent를 아예 쓰지도 만들지도 않는 쪽을 택하면, 개발은 사용자 프라이버시에 관심 없는 주체의 손에 남게 된다고 경고했습니다.

정리: agent에 무엇을 맡기고 무엇을 맡기지 말 것인가

두 사람은 결론에서 갈렸지만, 논쟁 과정에서 드러난 공통 전제는 꽤 분명합니다. prompt injection은 아직 해결되지 않았고, 데이터 거버넌스와 투명성은 양쪽 모두 미흡하다고 인정했습니다. 그렇다면 독자가 취할 수 있는 선택은 전면 수용도 전면 거부도 아닌, 작업별로 접근 범위를 정하는 것으로 보입니다. 토론에서 나온 기준을 정리하면 다음과 같습니다.

  • 외부 웹 텍스트나 검증되지 않은 메시지를 읽는 agent에는 관리자 권한이나 root 권한을 주지 않습니다.
  • 인증 정보, 일정, 기밀 대화에 자율 브라우징 agent가 제한 없이 접근하지 못하게 합니다.
  • 가능하면 읽기 전용으로 쓰고, 결제나 전송 같은 쓰기 작업은 사람이 확인한 뒤 실행하게 합니다.
  • 도구가 화면을 계속 녹화하거나 접근성 권한을 요구하는지 먼저 확인하고, 그 권한이 정말 필요한지 따져 봅니다.
  • 광고성 뉴스레터 요약처럼 민감하지 않은 작업부터 시험한 뒤 범위를 넓힙니다.
  • 고위험 정치 정보나 인권 관련 통신에 쓰는 기기에는 폭넓은 접근성 권한을 가진 agent를 두지 않습니다.
  • 반대로 데이터 브로커 정보 삭제 요청처럼 반복적이고 방어적인 작업은 agent에 맡기는 것이 유용할 수 있습니다.

Whittaker의 주장을 따르면 종단간 암호화 앱을 쓰는 기기에서 화면을 읽는 agent를 켜는 순간 그 앱의 보안 보증은 사라집니다. 정책 전문가의 주장을 따르면 권한을 잘게 나누고 확인 절차를 두면 agent는 오히려 개인정보를 지키는 도구가 됩니다. 두 주장은 모순이 아니라 서로 다른 작업에 적용되는 기준일 수 있습니다. 무엇을 맡길지 결정하기 전에, 그 agent가 어떤 권한을 요구하고 데이터를 어디로 보내는지부터 확인하는 것이 출발점입니다.