분류기 경고 대화 78% 포착…클로드 자가 평가

본문

앤트로픽은 클로드가 답변한 뒤 대화의 잠재적 악용 징후를 표시해 추가 검토에 활용한다. Claude Fable 5 평가에서 오탐률 1%를 기준으로 별도 분류기가 유해 가능성을 표시한 대화의 78%, 우선순위가 높은 대화의 94%를 포착했다. 앤트로픽 (Anthropic)이 AI 챗봇 클로드(Claude)의 답변 직후 대화에서 잠재적 악용 징후를 평가하는 ‘자가 평가’를 안전 감시 보조 수단으로 운용하고 있다. 앤트로픽은 10월 16일 공개한 기술 설명에서 이 기능을 올해 6월부터 실제 서비스 트래픽에 적용했다고 밝혔다. Fable 5 이후 공개한 모델에 기능을 적용하고 있으며, 전 세계 클로드 트래픽 가운데 상당 부분을 대상으로 운영한다고 설명했다. 클로드는 답변을 마칠 때마다 대화 전체를 돌아보라는 짧은 지시를 받고 안전 평가를 생성한다.

회사는 8월 단일 API 고객에서 아동 성착취 관련 표시가 10만건 넘게 발생했고, 아동 안전팀이 조사한 뒤 미국 실종·착취 아동을 위한 국가센터(NCMEC)에 자료를 신고했다고 밝혔다. 오탐률, 즉 문제가 없는 대화를 잘못 위험하다고 표시하는 비율을 1%로 맞췄을 때 클로드 미토스 프리뷰(Claude Mythos Preview) 기반 분류기가 유해 가능성이 있다고 표시한 대화의 78%를 자가 평가도 포착했다. 앤트로픽은 자가 평가가 교사 역할을 한 분류기의 약점을 물려받을 수 있고, 현재 평가로는 그 사각지대를 확인할 수 없다고 설명했다. 앤트로픽은 평가에 평균 약 10개의 추가 토큰만 필요하며, 자사 API 트래픽 분포를 기준으로 추론 연산량이 2% 미만 늘어난다고 추산했다. 자가 평가 훈련에는 실제 이용자 대화가 아니라 합성 데이터만 사용했다.

공격 과제 24개에서 안전장치가 없을 때 공격 성공률은 79%(19개)였고, 자가 평가로 막았을 때는 54%(13개)였다.