캡슐 시큐리티, 엔비디아 네모트론 기반 AI 에이전트 일탈 방지 시스템 공개

본문

[디지털투데이 황치규 기자]캡슐 시큐리티가 엔비디아 네모트론 모델 2개를 자체 미세조정해, AI 에이전트 행동을 실행 직전에 판별하고 실시간으로 허용·경고·차단하는 탐지 시스템을 내놨다고 실리콘앵글이 3일(현지시간) 보도했다.이 시스템은 에이전트가 맡은 작업과 실제 실행하려는 행동이 맞는지 사전에 가려내는 외부 통제 레이어 구현에 초점이 맞춰져 있다. 민감한 데이터, 소스코드, 운영 인프라 접근 권한을 가진 에이전트가 늘어나는 상황을 겨냥하고 있다.회사 측에 따르면 기존 권한 관리와 승인 절차는 에이전트가 접근할 수 있는 범위를 제 이 시스템은 에이전트가 맡은 작업과 실제 실행하려는 행동이 맞는지 사전에 가려내는 외부 통제 레이어 구현에 초점이 맞춰져 있다. 회사 측에 따르면 기존 권한 관리와 승인 절차는 에이전트가 접근할 수 있는 범위를 제한하는 데 그친다. 반면 개별 행동이 지시받은 업무에 부합하는지까지는 판단하지 못한다.

캡슐 시큐리티는 벤치마크 '스텝실드'에서 자사 시스템이 98% 정확도를 기록했고, 위반이 발생한 단계에서 이를 탐지했다고 밝혔다. 스텝실드는 실제 사고에서 나온 9429개 코드 에이전트 실행 경로를 바탕으로 단계별 일탈 행동 탐지 성능을 평가한다. 캡슐 시큐리티 모델 학습에는 엔비디아 오픈소스 모델 네모트론 3 계열 중 최대 규모 모델인 네모트론 3 울트라가 쓰였다. 학습 데이터에는 실제 에이전트 실행 기록과 허용된 행동 경계를 표시한 적대적 예제가 포함됐고, 사람이 이를 검토했다. 캡슐 시큐리티가 선보인 두 모델 중 큰 모델은 성능 저하 없이 메모리 요구량을 절반 가까이 줄여 단일 엔비디아 L40S GPU에서 구동할 수 있다고 회사측은 설명했다.

나오르 파즈 캡슐 시큐리티 공동창업자 겸 CEO는 "핵심 AI 보안 위험이 사람이 에이전트로 무엇을 할 수 있느냐를 넘어, 자율 에이전트가 스스로 무엇을 하기로 결정하느냐에 있다"며 "소프트웨어가 추론하고 도구를 사용해 행동할 수 있게 되면, 잘못된 결정이 몇 초 만에 실제 사고로 이어질 수 있다"고 말했다.