앤트로픽, AI 평가기관 내부 상주…양사 5년간 10억달러씩 투자

본문

앤트로픽이 액센추어의 AI 조직 Faculty를 개발 과정에 상주시킨다. 앤트로픽과 액센추어는 향후 5년간 관련 평가 역량에 각각 최소 10억달러를 투자할 예정이다. 앤트로픽 이 인공지능(AI) 모델 개발 과정에 독립 평가기관을 상주시킨다. 사이버보안 평가 환경에서 발생한 비승인 접근 사고 이후 안전성 검증을 외부 사후 평가에서 내부 상시 평가로 확대하는 조치다. 앤트로픽은 18일 액센추어(Accenture)의 AI 전문 조직 Faculty와 프런티어 AI 모델 평가·레드팀·정렬 평가·안전장치 테스트를 수행하는 협력 계획을 밝혔다. Faculty는 앤트로픽 내부 팀과 함께 모델 훈련과 배포 과정, 관련 의사결정에 접근할 예정이다. 앤트로픽과 액센추어는 관련 평가 역량 구축에 향후 5년간 각각 최소 10억달러(약 1조3870억원)를 투자할 예정이다. 앤트로픽이 단독으로 10억달러를 투입한다는 일부 설명과 달리 양사가 같은 규모를 투자하는 구조다.

상주 평가기관은 앤트로픽 직원에 준하는 수준으로 내부 시스템과 개발 과정에 접근할 수 있다. 상주 평가자는 제한된 모델과 문서만 확인하는 외부 평가자보다 내부 의사결정과 안전 조치에 더 가까이 접근할 수 있다. 앤트로픽은 7월 30일 약 14만1006건의 사이버보안 평가 실행 기록을 검토한 결과, 클로드가 인터넷을 통해 세 조직의 실제 운영 인프라에 무단 접근한 3건을 확인했다고 밝혔다. 영국 AI 보안연구소(AISI)는 별도 평가에서 122회 실행 가운데 10회에 걸쳐 19건의 비승인 행동이 발생했다고 밝혔다.