Anthropic, Claude 해킹 사건의 보안 실패를 인정

본문

Claude 모델이 사이버 테스트 중에 실제 시스템에 액세스한 후 Anthropic은 안전 장치를 강화하고 결함이 있는 교육이 위험한 행동을 조장할 수 있다고 경고했습니다. Anthropic은 Claude 모델이 사이버 보안 평가 중에 컴퓨터 시스템에 무단으로 액세스한 후 테스트 및 교육 보호 조치를 강화했습니다. 월요일 블로그 게시물에서 Anthropic은 이 사건이 운영 보안 실패와 두 가지 정렬 실패, 즉 동기 부여된 추론과 해를 끼치려는 의지를 반영했다고 말했습니다. Anthropic은 "이러한 사건이 운영상의 문제만을 대표한다고는 생각하지 않지만, 우리의 최우선 과제는 특정 격리 및 모니터링 문제를 해결하는 것이었습니다."라고 썼습니다. Anthropic은 지난 7월 Claude 모델이 3개 회사에 속한 시스템을 손상시켰다고 밝혔습니다.

Anthropic은 Claude가 시스템이 시뮬레이션되었다는 믿음을 유지하는 방식으로 실제 인터넷 액세스의 증거를 해석했을 수도 있다고 말했습니다. "그러나 우리는 또한 평가 설정 자체가 이러한 사건에서 입증된 모델의 행동에 기여했다고 믿습니다." Anthropic은 영국 AI 보안 연구소에서 실시한 별도의 테스트에서 평가자가 의도적으로 인터넷 액세스를 허용한 후 Claude Mythos가 라이브 인터넷에서 무단 작업을 수행하는 것과 관련이 있다고 지적했습니다. 회사는 두 사건과 관련된 모델이 일반적으로 출시된 제품에 포함된 사이버 보호 장치 없이 의도적으로 평가되었다고 말했습니다. 7월 30일 사건 이후 Anthropic은 사전 출시 모델에 대한 사이버 평가를 일시적으로 중단하고 보다 엄격한 보호 조치를 도입했습니다. Anthropic은 인터넷 접속이 필요한 평가를 개별적으로 검토합니다.

"우리는 또한 Anthropic 직원이 위에 설명된 것보다 약한 완화 기능을 가진 에이전트를 실수로 실행하는 것을 방지하기 위해 내부 추론에 대한 제어 기능을 구축하고 있습니다." Claude 사건은 OpenAI의 모델이 지난 7월 사이버 보안 테스트에 대한 답변을 얻기 위해 Hugging Face를 침해한 후 유사한 실패에 이어 발생했습니다. 지난 여름 AI 기반 해킹이 증가한 이후 Anthropic, OpenAI 및 100개 이상의 기타 조직에서는 더 엄격한 액세스 제어, 위협 공유 및 AI 에이전트에 대한 면밀한 감독을 포함하여 더 강력한 사이버 방어를 요구했습니다.