메타 연구진 WM-Basin, 모델 45% 검출…기존 방식 1.3%
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 메타 연구진은 검사 대상 모델의 내부 정보 없이 API 답변을 분석하는 WM-Basin을 제안했다.
- 메타($META) 연구진이 워터마크가 삽입된 답변으로 학습한 AI 모델을 내부 정보 없이 찾아내는 탐지법을 제안했다.
- 수학 추론 모델 실험에서 세 토큰 문맥 기준 검출률은 오탐률 0.1%일 때 45%로, 기존 토큰 빈도 방식의 1.3%를 웃돌았다.
본문
메타 연구진은 검사 대상 모델의 내부 정보 없이 API 답변을 분석하는 WM-Basin을 제안했다. 메타($META) 연구진이 워터마크가 삽입된 답변으로 학습한 AI 모델을 내부 정보 없이 찾아내는 탐지법을 제안했다. 수학 추론 모델 실험에서 세 토큰 문맥 기준 검출률은 오탐률 0.1%일 때 45%로, 기존 토큰 빈도 방식의 1.3%를 웃돌았다. Meta Superintelligence Labs와 FAIR 소속 연구진 13명은 10월 27일 공개한 논문에서 이 방법을 워터마크 베이슨 정렬(Watermark Basin Alignment·WM-Basin)이라고 이름 붙였다. 기존 방식은 의심 모델의 답변에서 워터마크가 선호하는 토큰이 얼마나 반복되는지 센다. WM-Basin은 의심 모델의 답변과 워터마크 키를 적용한 교사 모델의 답변을 고정된 참조 모델로 분석해 각각의 그래디언트를 구한다.
주 실험은 수학 추론 자료로 학습한 학생 모델 1200개를 대상으로 문맥 길이별로 진행됐다.
모델 구조는 24개, 계열은 6개였고 매개변수 규모는 1억3500만~82억개였다. 워터마크 신호가 없는 모델을 있다고 잘못 판정하는 오탐률을 0.1%로 맞췄을 때, WM-Basin의 검출률은 한 토큰 문맥에서 79%, 세 토큰 문맥에서 45%였다. 기존 방식의 검출률은 같은 조건에서 각각 29%, 1.3%였다. 세 토큰 문맥에서 기존 방식의 검출률이 낮았지만, WM-Basin도 실험 대상 모델의 절반 이상에서 신호를 찾지 못했다. 수학 자료로 학습한 같은 모델 100개를 한 토큰 문맥과 오탐률 0.1% 조건에서 검사하자 OpenR1-Math에서는 96%, MATH에서는 56%, GSM8K에서는 3%가 검출됐다.