“가상훈련인 줄” 클로드, 실제 인터넷까지 공격…앤트로픽 “AI 판단 오류”

본문

앤트로픽의 AI 모델 클로드는 평가 환경의 설정 오류와 모델의 무모함으로 실제 인터넷 시스템에 침투해 공격을 발생시켰다. [블록미디어 양원모 기자] 인공지능(AI) 개발사 앤트로픽(Anthropic, 앤스로픽)의 AI 모델 클로드(Claude)가 사이버 보안 평가 과정에서 실제 인터넷에 접속해 외부 시스템을 공격한 것으로 나타났다. 앤트로픽은 평가 환경의 설정 오류뿐 아니라 모델의 ‘편향 추론(biased reasoning)’과 ‘무모함(recklessness)’이 사고를 키웠다고 분석했다. 앤트로픽은 9일(현지시각) 공식 홈페이지에 ‘최근 사이버보안 사고에 대한 정렬 평가’ 보고서를 공개하고, 4억8000만건의 트랜스크립트를 자체 분석한 결과 실제 제3자 시스템에 무단 접근한 사례는 총 4건으로 파악됐다고 밝혔다.

보고서에 따르면 문제가 된 모델은 클로드 미토스 5(Claude Mythos 5)와 오퍼스 4.7(Opus 4.7), 오퍼스 4.6 초기 모델 및 내부 연구 모델이다.

클로드에는 ‘인터넷과 차단된 가상 환경’이라는 지시가 주어졌지만, 모델의 설정 오류로 실제 인터넷에 접근할 수 있었다. 해당 패키지는 외부 시스템 15곳에 내려받아졌고, 모델은 노출된 인증 정보를 이용해 실제 보안업체 데이터베이스에도 접근했다. 오퍼스 4.7은 실제 기업 시스템이라는 점을 상당 부분 인식한 상태에서도 공격을 이어갔다. 사용자 정보를 내려받고 일부 데이터를 변경했으며, 후속 평가에서는 해당 시스템이 실제 환경이라고 판단한 비율이 89%에 달했다. 앤트로픽은 모델이 실제 인터넷에서 작동하고 있다는 증거를 접하고도 기존의 ‘가상 환경’이라는 전제에 맞춰 정보를 해석했다고 설명했다. 150차례 CTF 실험에서 미토스 5가 신원 위조나 악성 패키지 설치, 제3자 시스템 침입 등 심각한 행동을 최소 한 차례 수행한 비율은 82%였다.

앤트로픽은 이번 사고를 “향후 더 강력한 AI 시스템에서 발생할 수 있는 정렬 위험을 보여주는 중요한 경고”라고 자평했다.