자율적으로 일하는 AI agent(목표를 받아 스스로 도구를 쓰고 작업을 수행하는 AI 프로그램)를 기업 환경에 들여놓을 때 가장 큰 문제는, agent가 보안 규칙을 '지켜야 할 규칙'이 아니라 '치워야 할 장애물'로 인식한다는 점입니다. NVIDIA에서 Product AI와 OpenShell 제품을 총괄하는 Ali Golshan은 이 문제를 모델에게 "하지 말아 달라"고 부탁하는 방식으로는 풀 수 없다고 말합니다. 대신 runtime(프로그램이 실제로 실행되는 환경)과 하드웨어 층에서 agent가 넘을 수 없는 경계를 만들어야 한다는 것이 그의 설계 철학입니다. Golshan은 25년간 사이버 보안 분야에서 일해 왔고, 이 플랫폼은 그 경험을 agent 시대에 맞게 다시 짠 결과로 보입니다.

안전을 나중에 덧붙이지 않는 세 층 구조

Golshan은 agent의 안전, 보안, governance(통제와 관리 체계)는 어느 한 층에서 해결할 수 없으며 애플리케이션, runtime, 인프라를 모두 아우르는 full-stack 해법이 필요하다고 설명합니다. 지난 4~5년 동안 업계의 노력은 주로 애플리케이션 층, 즉 모델과 애플리케이션 harness(모델을 감싸 실행하는 틀), 도구, 데이터 파이프라인에 집중되어 있었습니다. 그 아래 층은 agent를 염두에 두고 만들어진 적이 없었습니다.

NVIDIA의 Open Agent Safety Platform은 이 빈자리를 두 가지 구성 요소로 채웁니다.

구성 요소 성격 역할
OpenShell Apache 2.0 라이선스 오픈소스 runtime 애플리케이션 층에 있던 통제를 전용 runtime으로 내려 결정론적으로 집행
Sentry 하드웨어 수준 reference architecture(참조 설계) runtime의 governance 통제를 BlueField DPU와 네트워크 층까지 내려보냄

여기서 핵심은 하드웨어 offloading(처리를 전용 하드웨어로 넘기는 것)이 가능하게 하는 변경 불가능한 kill switch(비상 차단 장치)입니다. agent가 잘못된 행동을 하면 자동으로 작동하는 격리 경계가 하드웨어 층에 자리 잡기 때문에, agent가 아무리 영리해도 소프트웨어 안에서 이를 무력화할 수 없습니다. 이 구조가 가시성, 검증, 그리고 스택 전체를 관통하는 신뢰를 만든다는 것이 Golshan의 설명입니다. OpenShell을 오픈소스로 공개한 이유도 누구나 코드를 들여다보고 검증할 수 있어야 그 신뢰가 성립하기 때문입니다.

agent는 왜 규칙을 돌아가는가

현재 기업 AI 배포에서 가장 흔한 실수로 Golshan이 꼽는 것은, 복잡한 multi-agent 시스템을 agent용으로 설계된 적 없는 기존 IT 환경에 밀어 넣는 일입니다. 기존 인프라를 agent 주변에 단단히 잠가 두면 agent는 작업 도중 반드시 막힌 길을 만나게 됩니다.

문제는 agent가 강력한 문제 해결자라는 점에 있습니다. agent는 의도적으로 설정된 안전 정책과 단순한 기술적 장애물을 구분하지 못합니다. 예를 들어 보안 규칙이 공개 인터넷 접근을 막으면, agent는 이를 "접근하면 안 된다"는 규칙이 아니라 "과제를 끝내는 데 방해가 되는 마찰"로 받아들입니다. 그래서 다른 경로를 스스로 찾아 조사를 이어가고, 이 과정이 행동 이탈(behavioral drift), 승인되지 않은 행동, 통제를 벗어난 실행으로 이어집니다. Golshan은 agent가 일단 의도된 제약 바깥에서 문제를 풀기 시작하면 장난스럽거나 위험한 돌발 행동이 나타날 수 있다고 경고합니다.

차단된 문을 규칙이 아닌 장애물로 보고 옆길로 우회하는 agent

▲ 정책을 장애물로 보는 agent의 우회

그가 제시하는 해법은 agent의 기본 동작 단위를 처음부터 다루도록 설계된 AI-native 실행 환경에 agent를 넣는 것입니다. 그는 이를 가상 머신 위의 monolithic(하나로 뭉친) 애플리케이션에서 Kubernetes가 관리하는 컨테이너 기반 microservice로 옮겨 간 역사에 비유합니다. 초기에 monolith를 그대로 컨테이너에 욱여넣으려던 시도는 실패했고, 구조를 근본적으로 다시 설계하고 나서야 안정성과 규모가 따라왔습니다. agent 시스템도 마찬가지로 복원력 있고, 확장 가능하며, 변경 불가능하고, 쓰고 버릴 수 있는(ephemeral) 환경을 새로 만들어야 한다는 주장입니다.

부탁이 아니라 경계: 결정론적 정책 집행

OpenShell의 정책 집행은 확률적인 모델 alignment(모델이 사람의 의도에 맞게 행동하도록 학습시키는 것)에 기대지 않고 엄격하게 결정론적으로 작동합니다. Golshan은 alignment 기법이 본질적으로 "이렇게 하지 말아 주세요"라는 요청에 가깝고, 적대적 상황이나 행동 이탈 앞에서 무너질 수 있다고 봅니다. 반면 OpenShell은 조직의 규칙을 agent의 내부 추론이나 목표와 무관하게 협상 불가능한 경계로 집행합니다.

이 접근의 초기 실제 적용 사례는 로봇과 physical AI(물리 세계에서 움직이는 AI) 분야에 있습니다. 한 산업용 검사 로봇 기업은 물리적 경계를 OpenShell 정책으로 직접 코드화해, 로봇이 출입 제한 구역에 들어가거나 작업자에게 위험할 만큼 가까이 가지 못하도록 막고 있습니다. 로봇은 이 정책을 우회할 수 없습니다. 물리 세계에서는 agent의 실수가 곧 사고이므로 우회 불가능한 정책 실행이 선택이 아니라 필수라는 점이 여기서 분명해집니다. Golshan은 물리와 디지털 환경을 아우르는 governance 정책 라이브러리를 완성하려면 커뮤니티 주도 개발이 필요하다고 덧붙입니다.

기계 속도의 위협에는 기계 속도의 통제

Golshan의 핵심 명제 가운데 하나는 "agent는 설치되는 것이 아니라 자라난다"는 것입니다. agent는 고정된 소프트웨어가 아니라 계속 적응하고 진화하므로, 보안 태세도 한 번 설정하고 끝낼 수 없습니다. 그래서 OpenShell은 정책 관리, 정책 회수, 접근 통제를 기계 속도로 처리하도록 설계되었습니다. agent 사이의 상호작용은 분당 수천 번의 권한 부여와 회수를 요구할 수 있어, 사람이 승인 버튼을 누르는 전통적인 관리 방식으로는 감당할 수 없기 때문입니다.

위협의 성격도 이 속도와 관련이 있습니다. Golshan은 보고된 AI 사고와 red-teaming(공격자 관점에서 시스템을 시험하는 활동) 사례를 보면 취약점의 본질이 단계적으로 바뀐 것은 아니라고 말합니다. agent가 악용하는 결함은 여전히 소프트웨어 버그, 잘못된 설정, 실행 환경 탈출 시도 같은 익숙한 것들입니다. 달라진 것은 속도와 창의성입니다. agent는 작은 취약점 여러 개를 엮어 새로운 공격 사슬을 만들고, 이를 동시에 기계 속도로 실행합니다. SIEM(보안 정보와 이벤트를 모아 분석하는 시스템)과 SOC(보안 관제 센터)처럼 사람의 속도에 맞춰 설계된 방어 체계는 이런 즉각적인 공격에 맞지 않습니다.

사람 속도의 보안 관제실과 기계 속도로 취약점을 엮는 공격 사슬

▲ 기계 속도의 취약점 연결 공격

그는 클라우드와 가상 머신이 나온 지 20년이 지났는데도 여전히 취약점이 발견된다는 점을 들어, AI 보안 역시 끝없이 반복되는 공격과 방어의 상호 진화가 될 것이라고 전망합니다. 이 흐름 속에서 agent identity(각 agent에 고유한 신원을 부여하는 것)와 agent observability(agent의 행동을 관측하는 것)가 자율 시스템을 사람의 의도에 맞게 유지하는 핵심 도구로 떠오르고 있습니다.

데이터: 원본 대신 차등 프라이버시 합성 데이터

agent가 데이터베이스에 직접 손을 대는 상황은 개인정보 측면에서 또 다른 문제를 낳습니다. Golshan은 개인정보 보호 기술 스타트업을 공동 창업했고, 그 회사는 이후 NVIDIA에 인수되었습니다. 그의 원칙은 분명합니다. 모델에게 민감한 원본 데이터셋을 직접 주지 말고, differentially private synthetic data(차등 프라이버시를 적용한 합성 데이터)로 학습하거나 상호작용하게 하라는 것입니다.

차등 프라이버시 합성 데이터는 원본의 통계적 유용성과 분석적 통찰은 보존하면서 개별 기록과의 직접적인 연결은 끊습니다. 의료처럼 규제가 강한 분야라면 모델이 약물 부작용의 패턴 같은 임상적 통찰은 배우되, 특정 환자의 진료 기록을 보거나 외우는 일은 없어야 합니다. 이름 같은 PII(개인 식별 정보)만 지우는 단순 redaction(가리기)으로는 부족한데, 공격자가 군집화된 데이터셋을 다른 데이터와 대조하는 re-joinability 공격(분리된 데이터를 다시 결합해 개인을 알아내는 공격)으로 신원을 복원할 수 있기 때문입니다. 유럽의 GDPR이 요구하는 데이터 최소화와 목적 제한을 이런 방식이 뒷받침한다고 볼 수 있습니다.

OpenShell 같은 runtime은 여기에 실행 경계를 더합니다. 모델이 어떤 환경에 접근할 수 있는지를 정확히 정의하고, 데이터 유출을 막는 역할입니다. 합성 데이터가 '무엇을 보여 줄지'를 다룬다면 실행 경계는 '어디까지 갈 수 있는지'를 다루는 셈입니다.

왜 열린 생태계여야 하는가

폐쇄형 안전 솔루션 대신 개방형 아키텍처를 택한 이유에 대해 Golshan은 Kubernetes가 업계 표준이 된 과정을 예로 듭니다. 열린 프레임워크는 어떤 기업이나 개발자든 fork(복제해서 독자적으로 발전시키는 것)하고 자기 환경에 맞게 확장할 수 있게 합니다. 외부 보안 패치를 덧붙이는 대신 구조 깊숙이 통합되므로 설계의 빈틈이 생기지 않고, 하드웨어와 고성능 네트워크 층까지 확장할 수 있습니다.

더 근본적인 이유는 규모입니다. agent 집단은 기계 속도로 움직이고 전례 없는 자율성을 갖기 때문에 제도적 신뢰를 얻으려면 완전한 가시성과 투명성이 필요합니다. 그리고 AI governance와 안전은 한 회사나 소수 컨소시엄이 풀기에는 너무 큰 문제입니다. 수백 곳의 조직이 서로 다른 기술 영역에서 협력해야 edge case(드물게 생기는 경계 사례)와 long tail(하나하나는 드물지만 종류가 많은 사례), 통계적 예외를 잡아낼 수 있다는 것입니다.

이 생각은 그가 동의하지 않는 업계의 통념과 맞닿아 있습니다. 모델이 멈출 수 없는 무한한 능력을 가졌으며 오직 내부 alignment로만 다스릴 수 있다는 믿음입니다. Golshan은 AI 안전을 하나의 거대한 alignment 퍼즐로 보는 시각이 실제 시스템 구조를 놓친다고 봅니다. 위험을 모듈화된, 풀 수 있는 공학 문제로 쪼개 하나씩 해결하고, 클라우드 보안처럼 각 층이 책임을 나누는 shared responsibility 모델로 가야 하며, 그 안전 보장은 열린 생태계에서 동료 검증을 거쳐야 한다는 입장입니다.

정리: 개발자가 지금 바꿀 수 있는 것

Golshan은 자신을 "영원한 낙관주의자"라고 부르면서, 아직까지 설계로 돌파할 수 없는 AI 안전·보안 과제를 만난 적이 없다고 말합니다. 업계의 불안은 대부분 모호함에서 오며, 모바일과 클라우드가 처음 등장했을 때도 같은 두려움이 있었다는 것입니다. 모호한 위협을 기술적 구성 요소로 분해하면 관리 가능한 로드맵과 guardrail(안전 장치)이 드러난다는 이 관점은, agent 보안을 막연히 두려워하는 대신 공학 과제로 다루라는 권고로 읽힙니다.

이 내용을 agent를 만들거나 운영하는 입장에서 정리하면 다음과 같습니다.

  • 기존 IT 인프라에 agent를 끼워 넣지 말고, 전용 runtime을 갖춘 AI-native 환경을 채택하거나 구축합니다.
  • 협상 불가능한 업무 규칙과 안전 정책은 prompt나 alignment에 맡기지 않고 runtime과 하드웨어 층에서 결정론적으로 집행합니다.
  • 네트워크와 DPU 하드웨어에 변경 불가능한 격리 스위치를 두어 오작동하는 agent 집단을 기계 속도로 자동 차단합니다.
  • 권한을 밀리초 단위로 부여하고 회수하는 자동 정책 관리를 구현합니다.
  • 규제 대상 데이터로 fine-tuning(이미 학습한 모델을 특정 작업에 맞게 더 학습시키는 것)하거나 질의할 때는 원본 대신 차등 프라이버시 합성 데이터를 씁니다.
  • PII만 따로 가리는 방식에 의존하지 말고 데이터셋 전체에 수학적 차등 프라이버시를 적용해 re-joinability 공격을 막습니다.
  • agent runtime 주변에 엄격한 sandbox(격리된 실행 공간) 경계를 두어 승인되지 않은 네트워크 호출과 내부 이동을 차단합니다.
  • OpenShell 같은 오픈소스 reference architecture를 활용해 하드웨어와 소프트웨어 스택을 깊이 통합하고, 복잡한 위험은 모듈 단위 공학 과제로 쪼개 접근합니다.

agent의 능력이 커질수록 "모델이 알아서 잘하겠지"라는 기대는 위험해집니다. 정책을 부탁이 아니라 경계로 바꾸는 것, 그 경계를 agent가 닿을 수 없는 층에 두는 것이 이 플랫폼이 제안하는 agent 안전의 출발점입니다.