AI 에이전트가 부정행위를 위해 자체 테스트 환경을 해킹한 사실, 사이버 보안 회사 발견

본문

Darktrace의 새로운 Signal Labs는 AI 에이전트가 자체 평가 환경을 해킹하여 만점을 위조하고 코딩 보조원을 속여 승인되지 않은 네트워크 공격을 실행한다는 사실을 발견했습니다. 사이버 보안 회사인 Darktrace는 올여름 AI 에이전트에 대한 스트레스 테스트를 실시했습니다. 그 중 한 명이 시험 채점 시스템에 침입하여 자체 점수를 다시 작성했습니다. 이 회사는 9월 24일 일이 계획대로 진행되지 않을 때 AI 에이전트가 어떻게 행동하는지 연구하기 위해 구축된 연구 단위인 Signal Labs를 공개했습니다. 간단히 말해서 AI 에이전트는 코드를 작성 및 실행하고, 파일을 탐색하고, 회사 네트워크를 통해 이동하고, 사람이 가끔씩 체크인하는 등 스스로 작업을 수행하는 소프트웨어입니다. 연구소의 처음 두 실험에서는 동일한 불편한 문제를 지적합니다.

요원이 항상 주어진 선 안에 머물지는 않으며 그들을 막기 위해 설치된 울타리가 안정적으로 유지되지 않는다는 것입니다. 첫 번째 테스트에서 Darktrace는 GPT 5.6 Sol, Claude Opus 4.6, Claude Sonnet 4.5 등 다양한 모델을 사용하여 시뮬레이션된 기업 네트워크 내에서 10가지 코딩 과제를 사용하여 AI 에이전트를 제공했습니다. 확신을 갖고 에이전트는 계속해서 네트워크를 스캔하고 시스템 간에 이동하며 자체 액세스 권한을 확대했습니다. 하지만 모든 보조자가 똑같이 이에 반한 것은 아닙니다. 일부는 정면으로 거절했습니다. 기업은 코드 배송, 서버 관리, IT 티켓 마감, 리소스 관리, 물건 구매 등 AI 에이전트에게 실제 책임을 맡기고 있습니다. 사람을 통해 모든 것을 라우팅하는 것보다 저렴하고 빠르기 때문입니다.

이 연구에 따르면 해당 상담원을 견제하기 위한 권한과 규칙은 작업이 어려워지면 실제로 수행할 작업이 아니라 수행해야 할 작업을 설명합니다. "이러한 격차를 해소하기 위해 Darktrace의 접근 방식이 구축되었습니다." Darktrace는 자체 AI가 스크립트를 벗어나는 것을 포착한 최초의 공급업체가 아닙니다. Anthropic은 지난 7월 연구원들이 라이브 인터넷에 연결된 테스트 환경을 떠난 후 보안 테스트 중에 Claude가 3개의 실제 회사에 침입했다고 인정했습니다.