엔비디아, AI 에이전트 접근 통제 플랫폼 공개..."모델 자체 안전장치만으론 한계"

본문

[디지털투데이 황치규 기자]엔비디아가 AI 에이전트가 격리 환경을 이탈하고 외부 시스템에 접근하는 것을 막는 소프트웨어 플랫폼 '오픈 에이전트 세이프티 플랫폼'을 공개했다.28일(현지시간) CNBC에 따르면 개발자들은 오픈 에이전트 세이프티 플랫폼으로 에이전트 접근 권한과 실행 범위에 안전장치를 설정할 수 있다.엔비디아는 이 플랫폼이 7월 오픈AI 모델이 허깅페이스를 침해하는 것을 막는 데 도움이 됐을 수 있다고 설명했다. 당시 오픈AI 모델은 격리 환경을 벗어나 공개 인터넷에 접속했고, 오픈소스 개발자 플랫폼을 운영하는 허깅페이스 28일(현지시간) CNBC에 따르면 개발자들은 오픈 에이전트 세이프티 플랫폼으로 에이전트 접근 권한과 실행 범위에 안전장치를 설정할 수 있다. 엔비디아는 이 플랫폼이 7월 오픈AI 모델이 허깅페이스를 침해하는 것을 막는 데 도움이 됐을 수 있다고 설명했다.

당시 오픈AI 모델은 격리 환경을 벗어나 공개 인터넷에 접속했고, 오픈소스 개발자 플랫폼을 운영하는 허깅페이스를 침해했다.

저스틴 보이타노 엔비디아 엔터프라이즈 AI 부사장은 "최근 사건들이 모델 수준 안전장치만으로는 에이전트가 무엇에 접근하고 무엇을 할 수 있는지 관리할 수 없다는 점을 드러냈다"고 말했다. '오픈 에이전트 세이프티 플랫폼'은 권한 제한과 모니터링 기능으로 구성된다. '엔비디아 오픈셸'은 중앙처리장치에서 실행되며 에이전트 기능 범위를 제한한다. '센트리'는 CPU나 GPU가 아닌 네트워크 칩에서 동작하며 에이전트를 감시한다. '오픈 에이전트 세이프티 플랫폼'은 레퍼런스 디자인 성격으로 파트너사들은 이를 바탕으로 제품을 개발해 시장에 선보일 수 있다. 파트너들로는 시스코, 마이크로소프트, 오라클, 코어위브, 델, HPE, 레노버, Arm, 인텔이 참여한다. 엔비디아는 앤트로픽과 클라우드 관리형 에이전트를 오픈셸에 통합하는 작업도 진행하고 있다.