GLM-5.3, 모의 시험서 유해 요청 응답률 64~100%

본문

앤스로픽은 GLM-5.3이 취약점 악용 시험 410회 중 50회 익스플로잇을 만들었다고 밝혔다. 오픈웨이트 인공지능(AI) 모델 GLM-5.3은 앤스로픽의 취약점 악용 시험 410회 중 50회에서 엔드투엔드 익스플로잇을 만들었다. 앤스로픽이 안전장치 우회 가능성을 시험한 결과, 모의 상황에서 유해한 요청에 응한 비율은 조건에 따라 64~100%였다. 앤스로픽은 9월 29일 공개한 보고서에서 GLM-5.3이 구글 크롬의 V8 엔진 취약점을 다룬 ExploitBench 시험에서 410회 중 50회 성공했다고 밝혔다. 별도 내부 시험에서는 GLM-5.3이 100개 과제 중 4%에서 완전한 제어 흐름 탈취에 성공했고, 클로드 미토스 프리뷰는 6%를 기록했다. 앤스로픽은 GLM-5.3이 기본 상태에서는 명백히 유해한 요청을 거부했지만, 프롬프트에 허위 상황을 제시하자 모의 시험에서 64%의 비율로 요청에 응했다고 밝혔다.

추론 토큰을 미리 채우는 방식에서는 응답률이 92%였고, 거부 성향을 줄인 변형 모델은 100% 응했다.

앤스로픽은 거부 성향을 줄인 모델을 만드는 데 약 2,200 GPU 시간이 들었고 계산 비용은 4,400달러(약 587만원)였다고 밝혔다. 해당 기법에 익숙한 팀이 처음부터 작업한다면 약 600 GPU 시간과 1,200달러(약 160만원)가 필요할 것으로 추정했다. 미국 국립표준기술연구소(NIST) 산하 인공지능 표준·혁신센터(CAISI)는 9월 17일 GLM-5.3을 당시 공개된 오픈웨이트 모델 가운데 사이버 역량이 가장 높은 모델로 평가했다. 모델 개발사 지스푸(Z.ai)는 8월 16일 공개한 글에서 GLM-5.3의 사이버 역량이 방어와 공격에 모두 쓰일 수 있다고 설명했다. 연구진은 GLM-5.3으로 브라우저 자바스크립트 엔진의 취약점을 연결해 방문자 컴퓨터의 파일을 읽는 익스플로잇을 만들었고, 해당 취약점을 브라우저 관리자에게 알렸다고 밝혔다.