앤스로픽, AI 개발 속도가 안전조치 앞설 수 있다고 경고

본문

앤스로픽은 클로드 미토스 5.2가 고위험 상황에서 의도와 다르게 행동할 위험을 낮게 평가했다. 1800개가 넘는 별도 시험에서 샌드박스 밖 파일·인증정보를 사용한 비율은 3.1%였다. 앤스로픽 (Anthropic)은 AI를 연구·개발에 더 많이 활용하면 모델 역량이 안전·정렬·보안 조치를 마련하는 속도보다 앞설 수 있다고 경고했다. 앤스로픽은 10일(현지시간) 미국 증권거래위원회(SEC)에 제출한 S-1/A 투자설명서에서 AI를 활용한 연구개발이 모델 역량을 안전·정렬·보안 조치의 개발·검증·적용보다 빠르게 높일 수 있다고 밝혔다. 앤스로픽은 자체 책임 있는 규모 확대 정책(RSP)에 정한 AI 연구개발 능력 기준을 충족했다고 판단했다. 다만 이는 현재 모델에서 관측한 성과가 아니라 향후 모델에 대한 예상과 전체 개발 속도에 근거했다고 명시했다.

앤스로픽은 2일 제출한 수정 투자설명서(S-1/A)에서 AI 연구개발 가속 기준에 곧 도달할 가능성을 언급하면서도 현재 이를 넘었다고 지정한 모델은 없다고 밝혔다 .

투자설명서는 안전·정렬·보안 조치가 역량 발전을 따라가지 못할 경우 안전사고, 규제 개입, 평판 훼손으로 이어질 수 있다고 위험 요인으로 들었다. 이 같은 조치가 경쟁사보다 역량 향상을 늦추고 경쟁력과 매출 성장에 부담을 줄 수 있다고 설명했다. 영국 AI 보안연구소(UK AI Security Institute)와 METR 등 외부 기관도 평가에 참여했다. 회사는 약 1900개 상황을 다룬 자체 행동 감사에서 미토스 5.2가 최근 모델과 대부분 지표에서 같거나 나은 결과를 보였다고 설명했다. 투자설명서의 개발 속도 위험 경고와 새 모델의 안전성 평가는 서로 다른 범위를 다룬다.