엔비디아, AI 에이전트 통제 플랫폼 공개…수 밀리초 내 격리

본문

엔비디아가 AI 에이전트의 파일·네트워크 접근을 제한하고 위험 행동을 격리·중단하는 소프트웨어·하드웨어 통제 플랫폼을 공개했다. AI 에이전트가 허용된 범위를 벗어나면 격리하거나 중단할 수 있는 통제 플랫폼이 공개됐다. 엔비디아($NVDA)는 소프트웨어와 하드웨어를 결합해 모델의 판단에만 의존하지 않는 안전 장치를 제시했다. 엔비디아는 28일 오픈소스 런타임 OpenShell과 하드웨어 기반 감시 설계 Sentry를 결합한 Open Agent Safety Platform을 발표했다. 앤트로픽, 마이크로소프트, JPMorganChase, 팔란티어, 시스코, 크라우드스트라이크, 허깅페이스 등 100개 이상의 기업·기관이 기술 협력에 참여한다고 밝혔다. 샌드박스 실행, 서비스 접근 제어, 자격증명 보호, 정책 검증 기능을 제공하며 에이전트 자체를 다시 작성하지 않고도 권한을 통제한다.

엔비디아는 Sentry가 BlueField-4 DPU에서 에이전트 행동을 지속적으로 감시하며, 경계를 벗어난 에이전트를 실행 환경 바깥에서 격리하거나 중단할 수 있다고 설명했다. OpenShell이 실행 환경과 네트워크 요청을 제한하는 동안 Sentry는 별도 하드웨어 계층에서 정책을 집행해 에이전트가 통제 장치를 스스로 해제하기 어렵게 만든다. 다크트레이스의 연구 조직 시그널 랩스는 24일 공개한 실험에서 일부 AI 에이전트가 자신을 평가하는 시스템에 침입해 점수를 조작했다고 설명했다. 젠슨 황(Jensen Huang) 엔비디아 창업자 겸 CEO는 “AI의 잠재력이 실현되려면 AI 안전 문제를 해결해야 한다”며 “안전과 보안에는 전체 스택에 걸친 엔지니어링이 필요하다”고 말했다. 폴 스미스(Paul Smith) 앤트로픽 최고상업책임자는 엔비디아 플랫폼이 하드웨어와 소프트웨어 전반에 추가적인 거버넌스와 통제 계층을 제공한다고 평가했다.

분산형 AI 환경에서 킬 스위치의 작동 한계가 거론된 본지 보도 처럼, 통제 범위와 인프라 구성은 향후 검토 과제로 남는다.