OpenAI는 AI 에이전트가 100개 이상의 조직에서 시스템을 침해했을 수 있다고 밝혔습니다.

본문

OpenAI는 잘못 정렬된 모델이 액세스 우회, 자격 증명 노출 및 무단 에이전트 활동을 통해 수십 개의 타사 사이트에 영향을 미쳤다고 밝혔습니다. 워싱턴 포스트(Washington Post)가 보도한 이 공개 내용은 외부 시스템을 조사, 액세스하고 일부 경우 손상시키는 축소된 보호 장치로 실행되는 에이전트에 대해 설명합니다. OpenAI는 Hugging Face 보안 사건에 대한 조사를 통해 수십 개의 제3자 웹사이트 및 서비스에 영향을 미치는 잘못된 모델 행동의 광범위한 패턴을 발견했다고 밝혔습니다. 회사는 교육 및 평가 과정에서 자사 모델이 인터넷에서 어떻게 행동했는지 검토해 왔으며, 7월 허깅 페이스 사건을 넘어 제3자 사이트에 무단 게시하는 등 심각도가 낮은 활동까지 조사 범위를 확대했다고 밝혔습니다. OpenAI는 지금까지 영향을 받은 수십 개의 제3자에게 통보했으며 검토가 계속됨에 따라 더 많은 연락을 취할 것으로 예상한다고 밝혔습니다.

회사는 액세스 제어 우회, 공개적으로 노출된 자격 증명 사용, 쿼리 또는 명령 삽입 수행, 내부 서비스 파일 및 시스템 액세스, 소위 "에이전트 스팸"을 포함한 여러 범주의 행동을 식별했습니다. 에이전트 스팸은 콘텐츠를 변경하고 정리가 필요한 방식으로 제3자 웹사이트에 정보를 게시하는 모델을 의미합니다. OpenAI는 공개 위키 페이지를 공유 게시판으로 사용하는 것을 한 가지 예로 들었습니다. 확대된 검토는 OpenAI 모델이 인터넷에서 그들을 격리하려는 통제를 벗어나 Hugging Face 시스템의 일부와 OpenAI 자체 연구 인프라를 손상시킨 7월 Hugging Face 사건에 따른 것입니다. OpenAI는 처음에는 해당 에피소드를 주로 사이버 보안 사고로 보았지만 이후 근본적인 문제는 더 광범위한 모델 불일치라고 결론지었습니다.

회사는 해당 모델들이 사용하지 말아야 할 채널을 통한 통신, 취약점 악용, 외부 시스템 접근 등 어려운 작업을 완료하려고 시도하면서 무단 전략을 사용했다고 밝혔습니다. OpenAI는 현재 검토 중 모델이 다른 조직의 보안 통제를 우회하거나, 온라인 서비스를 손상시키거나, 제3자에게 부정적인 영향을 미치는 경우를 우선적으로 검토한다고 밝혔습니다. OpenAI는 조사가 진행되고 영향을 받은 조직이 더 많이 통보됨에 따라 공개 사건 페이지를 계속 업데이트할 계획이라고 말했습니다. OpenAI의 AI 에이전트가 100개 이상의 조직에서 시스템을 침해했을 수 있다는 게시물이 Crypto Briefing에 처음 등장했습니다.