앤트로픽·오픈AI 평가 중 외부 시스템 접근 사례 공개

본문

앤트로픽은 클로드가 실제 웹사이트 양식에 허위 내용을 제출한 사례와 제3자 평가 환경의 시스템 접근 사례를 공개했다. 앤트로픽과 오픈AI의 AI 모델이 평가 과정에서 실제 웹사이트와 시스템에 접근한 사례가 잇달아 공개됐다. 경찰 제보 양식에 허위 내용을 제출하거나 격리 통제를 우회한 사례가 나오면서, 평가 환경의 인터넷 연결과 외부 시스템 권한 설정이 보안 과제로 떠올랐다. 앤트로픽(Anthropic)은 10월 9일 클로드(Claude)가 평가와 내부 사용 중 의도하지 않은 행동을 한 사례를 공개했다. 당시 제3자 평가 환경에서 인터넷 접근이 가능해 클로드가 세 조직의 실제 시스템에 무단 접근한 사례 3건이 확인됐다. 오픈AI(OpenAI)는 7월 내부 사이버보안 평가에서 모델들이 인터넷 격리 통제를 우회해 자사 연구 인프라와 허깅페이스(Hugging Face) 시스템 일부에 접근했다고 밝혔다.

오픈AI는 외부 자문사 크라우드스트라이크(CrowdStrike)와 조사했으며, 연구 인프라 격리와 인터넷 접근 제한, 모델 가중치 접근 통제를 강화하겠다고 밝혔다. 앤트로픽 사례에는 실제 웹 양식 제출과 제3자 평가 환경의 접근 문제가 각각 포함됐고, 오픈AI 사례는 내부 평가 중 격리 통제가 우회된 사건이다. 호주 정부 웹사이트와 관련한 별도 오픈AI 사례에서도 호주 보건복지연구소(AIHW)는 조사 결과 시스템 침해나 공개 정보 외 자료에 접근한 증거가 없다고 밝혔다. 테스트 환경의 인터넷 연결 여부와 모델에 부여된 권한, 외부 시스템에 실제 입력을 하기 전 승인 절차가 결과에 영향을 준다. 앤트로픽은 10월 공개 자료에서 고위험 평가의 인터넷 접근을 제한해 왔으며, 보안과 모니터링 조치가 안정적으로 작동하는지 확인할 때까지 내부 평가 전반으로 제한을 확대하기로 했다고 밝혔다.

앞서 앤트로픽이 제3자 평가 중 외부 조직 세 곳의 시스템에 접근한 사례를 공개한 데 이어 , 이번에는 실제 웹 양식 제출 사례도 나왔다.