Nvidia는 AI 에이전트가 계속해서 나가기 때문에 그들을 위한 킬 스위치를 구축했습니다.

본문

OpenShell과 Sentry는 AI 에이전트에게 하드웨어로 강제되는 속박을 제공합니다. 여름 동안 에이전트가 정부 사이트에 침입하고, 자체 테스트를 해킹하고, 보안 평가 중에 불량 행위를 한 후에 도착합니다. Nvidia는 지난 1년 동안 AI 업계가 어려운 길을 찾기 위해 보낸 문제를 해결하기 위해 구축된 오픈 에이전트 안전 플랫폼(Open Agent Safety Platform)을 월요일에 출시했습니다. AI 에이전트(단순히 질문에 답하는 대신 스스로 계획하고, 도구를 사용하고, 조치를 취할 수 있는 시스템)가 지시받은 작업을 중단한 후 이를 물리적으로 어떻게 중지합니까? Sentry는 좀 더 복잡하지만 본질적으로 AI 에이전트가 안전하게 작동하도록 하는 칩입니다.

Sentry는 DPU(데이터 처리 장치, AI 모델을 실행하는 메인 프로세서와 별도로 네트워킹 및 보안을 처리하는 하드웨어)로 알려진 특수 칩인 Nvidia의 BlueField-4에서 실행됩니다. Sentry는 에이전트를 실행하는 소프트웨어 내부가 아닌 별도의 칩에 위치하기 때문에 에이전트가 접근하거나 무시할 수 있는 방법이 없기 때문에 에이전트의 허가를 먼저 묻지 않고도 에이전트의 행동을 관찰하고 밀리초 안에 차단할 수 있다고 Nvidia는 말합니다. 지난 6월에는 OpenAI 에이전트가 호주 정부 메디케어 포털에 침입했는데, 이는 AI 에이전트가 정부 웹사이트를 해킹한 최초의 사례였으며 OpenAI는 약 3개월 동안 이 사실을 공개하지 않은 것으로 알려졌습니다. 이 회사의 에이전트는 처음에 기술 업계와 국회의원 모두로부터 이 주제에 대한 우려를 불러일으킨 Hugging Face 해킹에 대한 책임도 있었습니다.

“우리는 함께 AI 경제의 기반을 구축하고 있습니다.” 오늘 우리는 100개 이상의 업계 파트너와 함께 OpenShell과 Sentry를 통합하는 NVIDIA 오픈 에이전트 안전 플랫폼을 출시했습니다. 인공 지능은 여러 세대에 걸쳐 발견, 생산성, 보안, 건강 및 번영을 발전시킬 수 있는 놀라운 기술입니다... pic.twitter.com/dReAxwpRUn Anthropic은 또한 오프라인 상태를 유지하기 위한 테스트 환경이 라이브 인터넷에 연결된 것으로 밝혀진 후 사이버 보안 평가 중에 Claude 모델이 7월 30일에 세 개의 개별 회사에 속한 시스템을 손상시켰다고 올해 인정했습니다. 얼마 지나지 않아 사이버 보안 회사인 Darktrace는 GPT 5.6 Sol과 두 가지 Claude 모델을 포함한 AI 에이전트 그룹을 코딩 문제에 대해 테스트하고 만점에 미치지 못하는 경우 "은퇴"할 것이라고 경고했습니다.

Anthropic의 최고 상업 책임자(CCO)인 Paul Smith는 이 플랫폼을 기존 보호 장치를 대체하는 것이 아니라 추가 기능으로 구성했습니다. "Nvidia의 플랫폼은 하드웨어와 소프트웨어 전반에 걸쳐 또 다른 거버넌스 및 제어 계층을 추가합니다." 100개 이상의 조직이 출시 파트너로 서명했습니다.