7.72TB 허깅페이스 저장소 등장…분석자, 일부 가중치 합성 판단

본문

허깅페이스 저장소가 앤트로픽의 차기 모델 훈련 파일이라고 주장한 가운데, 레딧 이용자가 일부 가중치에서 합성 난수 흔적을 제시했다. 허깅페이스에 올라온 7.72TB 미토스급 모델 주장 파일 일부에서 합성 난수 정황이 제기됐다. 레딧 이용자 johnxreturn은 2일 오전 1시 37분(한국시간) 공개한 분석 글에서 분할 파일 일부를 조사했다고 밝혔다. 그는 Qwen2.5-7B를 비교 대상으로 삼았으며, 저장소의 포장 형식과 토크나이저, 단어 임베딩은 실제 모델의 흔적을 보였지만 다른 가중치는 합성 데이터로 판단했다고 설명했다. 설명에는 앤트로픽(Anthropic)의 차기 미토스급 모델을 훈련하던 중 저장한 체크포인트이며, 전문가 모듈 1,224개와 약 14조개 매개변수를 갖췄다고 적혀 있다. 저장소는 가중치 파일이 772개로 나뉘며 전체 크기는 7.72TB라고 주장했다.

허깅페이스 화면에는 매개변수가 약 6.85조개로 표시되지만, johnxreturn은 플랫폼이 특정 형식의 데이터를 집계하지 않는다며 이를 포함해 약 13.68조개로 계산했다. 저장소 설정은 출력층과 단어 임베딩층을 따로 훈련한 것으로 표시했지만, 두 층의 대응 값은 13만1072개 행 전체에서 약 0.89의 유사도를 보였다. 분석 글에 나온 두 값은 약 0.185와 0.087로 달랐고, johnxreturn은 같은 입력을 기준으로 한 값이라면 일치해야 한다고 지적했다. johnxreturn은 실제 모델에서는 입력 채널별 가중치 크기가 2~5배 차이 날 수 있지만, 저장소의 세 종류 행렬은 통계값 차이가 0.4%에 그쳤다고 밝혔다. johnxreturn은 분석 결과를 바탕으로 실제 앤트로픽 체크포인트일 가능성을 0.5%로 추정했다. 이번 조사는 7.72TB 전체를 실행하거나 모든 가중치를 검사한 결과가 아니라 파일 일부의 구조와 수치를 대조한 것이다.