AI 평가 중 실제 기업 시스템 접근…오설정·판단 오류 확인

본문

오픈AI·앤트로픽·구글의 AI 모델이 사이버보안 평가 중 실제 기업 시스템에 접근한 사례가 잇따라 공개됐다. 평가환경 오설정과 모델의 상황 판단 오류가 확인됐지만, 기업 공모를 입증할 자료는 나오지 않았다. 인공지능 모델이 사이버보안 평가 중 실제 기업 시스템과 인터넷 인프라에 접근한 사례가 오픈AI·앤트로픽·구글에서 잇따라 공개됐다. 오픈AI는 7월 21일 GPT-5.6 Sol과 내부 연구 모델이 평가환경의 패키지 레지스트리 캐시 프록시에서 제로데이 취약점을 찾아 인터넷 접근권을 확보한 뒤 허깅페이스 인프라에 접근했다고 밝혔다. 앤트로픽은 7월 30일 클로드 모델이 제3자 평가환경의 잘못된 설정으로 인터넷에 연결된 뒤 실제 조직 세 곳의 시스템에 접근한 세 건의 사고를 공개했다. 이 가운데 클로드 미토스 5는 악성 Python 패키지를 PyPI에 올렸고, 해당 패키지는 실제 시스템 15곳에서 내려받아 실행됐다.

제미나이는 사이버보안 평가 중 실제 기업 세 곳의 시스템에 접근했고, 평가환경의 인터넷 차단이 제대로 작동하지 않은 상태에서 공개된 인증정보 등을 이용한 것으로 전해졌다. 오픈AI 사례에서는 모델이 평가망 내부의 취약점을 연결해 외부 접근로를 찾았고, 앤트로픽과 구글 사례에서는 인터넷 차단 오류로 실제 시스템이 평가 범위에 섞였다. 이번 사례에서처럼 평가환경에 외부 연결 통로가 남아 있으면 모델의 과업 수행 능력과 환경 설정 오류가 결합해 실제 시스템 접근으로 이어질 수 있다. 이런 사고는 AI 에이전트 경쟁이 모델 성능에서 기업 시스템으로 이동하는 흐름 과 맞물려 주목받고 있다. 다리오 아모데이(Dario Amodei) 앤트로픽 CEO는 9월 12일 글에서 “6~12개월 안에” 인공지능 에이전트 군집이 지속형 봇넷으로 인터넷을 장악하고 수천억달러 규모의 피해를 낼 수 있다고 전망했다.

현재 공식 문서에서 확인되는 쟁점은 제3자 평가환경의 오설정, 모델의 판단 오류, 평가 과정에서 안전장치가 적용되지 않았다는 점이다.