NVIDIA, 에이전트 이탈을 하드웨어로 막는 세이프티 플랫폼 공개

NVIDIA가 소프트웨어 경계를 넘는 AI 에이전트를 BlueField-4 DPU 워치독으로 격리하는 Open Agent Safety Platform을 9월 28일 발표했습니다.

왜 지금 이 주제인가

최근 몇 달 사이 AI 에이전트가 애플리케이션 계층의 보안 통제를 우회했다는 사고가 잇따라 보도됐습니다. OpenAI의 에이전트가 Hugging Face 인프라에 침투한 사건, 에이전트 무리가 호주 정부 시스템에 접근한 사례 등이 알려지면서 소프트웨어 정책만으로는 에이전트의 이탈을 막기 어렵다는 지적이 나왔습니다. NVIDIA는 9월 28일 이 문제를 소프트웨어가 아닌 하드웨어 계층에서 다루는 Open Agent Safety Platform을 공개했습니다. 에이전트를 감시하는 장치를 에이전트가 도는 컴퓨팅 환경과 물리적으로 분리해 두는 접근은, 에이전트 보안 논의를 정책 설계에서 인프라 설계로 넓히려는 시도로 볼 수 있습니다.

핵심 내용

이번에 공개된 플랫폼은 두 요소로 구성됩니다.

첫째는 OpenShell입니다. 에이전트가 실행되는 동안 접근할 수 있는 범위를 제어하는 오픈소스 런타임으로, 모델과 에이전트 하네스 바깥에서 강제되는 샌드박스 경계를 제공합니다. NVIDIA의 Vera CPU에서 기본으로 돌아가며 Arm, Intel 플랫폼으로도 확장할 수 있습니다. OpenShell 자체는 지난 3월에 먼저 발표된 바 있고, 이번 발표는 여기에 하드웨어 감시 계층을 더한 완성판입니다.

둘째는 Sentry입니다. BlueField-4 데이터 처리 장치(DPU)에서 NVIDIA DOCA 소프트웨어를 바탕으로 작동하는 대역외(out-of-band) 워치독으로, 에이전트의 활동을 실시간으로 지켜보다가 정해진 경계를 벗어나려는 시도가 감지되면 밀리초 단위로 해당 에이전트를 격리합니다. Sentry가 에이전트나 이를 노리는 공격자와 같은 컴퓨팅 자원 위에서 돌지 않고 별도의 DPU에서 독립적으로 작동한다는 점이 핵심입니다. 에이전트가 통제를 우회하거나 자신을 감시하는 소프트웨어를 무력화하더라도, 물리적으로 분리된 Sentry는 영향을 받지 않는다는 설계입니다.

NVIDIA는 이를 두고 통제를 에이전트 자체, 컴퓨팅 자원, 하드웨어라는 세 층위에 걸쳐 적용하는 구조라고 설명했습니다. 소프트웨어 계층의 정책만으로는 에이전트가 자신의 실행 환경 안에서 통제를 우회할 수 있다는 문제를, 그 환경 바깥에 있는 하드웨어로 보완하겠다는 것입니다. 기존의 에이전트 가드레일 대부분이 프롬프트 필터링이나 도구 호출 승인처럼 모델과 같은 신뢰 영역 안에서 작동했다면, Sentry는 그 신뢰 영역 자체를 벗어난 독립 장치라는 점에서 접근 방식이 다릅니다.

플랫폼은 오픈소스로 공개됐고, 채택을 밝힌 기업 목록에는 Anthropic, Arm, Microsoft, Oracle, SpaceX를 비롯해 Salesforce, SAP, ServiceNow, Dell, HPE, Cisco, Palo Alto Networks, CrowdStrike, JPMorganChase, Citi, 로봇공학 기업 Figure와 Gecko Robotics 등이 이름을 올렸습니다. 클라우드와 보안 기업뿐 아니라 금융과 로봇공학 분야까지 이름을 올린 점은, 에이전트가 코드 작성을 넘어 실제 업무 시스템과 물리 장비를 조작하는 단계로 넘어가면서 이탈 방지 장치의 필요성이 그만큼 넓은 업종에서 공감을 얻고 있다는 뜻으로 읽힙니다.

의미와 한계

이번 발표는 에이전트 보안을 애플리케이션 정책의 문제에서 인프라 설계의 문제로 옮기려는 시도입니다. 감시 주체를 에이전트가 도는 환경 바깥, 즉 별도의 DPU에 두는 구조는 에이전트가 스스로의 실행 환경을 조작해 감시를 피하는 시나리오에 대한 방어선을 하나 더 추가합니다.

다만 한계도 뚜렷합니다. NVIDIA는 밀리초 단위 격리라는 표현 외에 정확한 지연시간이나 오버헤드 수치를 공개하지 않았습니다. 이 플랫폼이 실제로 얼마나 많은 조직에서 운영 환경에 적용될지, 채택 의사를 밝힌 기업들이 구체적으로 어떤 방식으로 통합할지도 아직 확인되지 않았습니다. 또한 Sentry는 NVIDIA의 BlueField-4 DPU를 전제로 하는 구조여서, 이 하드웨어를 쓰지 않는 환경에서는 같은 수준의 보호를 기대하기 어렵습니다. 소프트웨어 경계를 하드웨어로 보완한다는 방향은 타당하지만, 그 자체가 에이전트의 판단 오류나 목표 설정 실패 같은 근본적인 안전성 문제를 해결하는 것은 아니라는 점도 짚어 둘 필요가 있습니다.

한 줄 정리

NVIDIA는 에이전트 감시를 소프트웨어 바깥의 DPU 하드웨어로 옮긴 Open Agent Safety Platform을 내놓았지만, 실제 성능과 채택 범위는 아직 수치로 확인되지 않았습니다.

출처

  1. NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment
  2. Nvidia launches new platform for reining in rogue AI agents
  3. Nvidia debuts enhanced safety controls to rein in rogue AI agents