코인베이스 시험서 오퍼스·소넷 최신 모델, 구형보다 탐지율 낮아

본문

코인베이스가 과거 온램프 거래 1만6140건을 대상으로 사기 탐지 시험을 했다. 최신 AI 모델 3종은 거의 모든 지표에서 이전 버전보다 낮은 결과를 냈다. 최신 인공지능 모델 3종이 코인베이스의 사기 탐지 시험에서 이전 버전보다 낮은 재현율과 금액 가중 재현율을 기록했다. 코인베이스는 과거 온램프 거래 1만6140건을 같은 기준으로 평가했다. 코인베이스는 개발자 플랫폼 계정 게시물에서 확인된 사기 거래 813건이 포함된 기록을 시험했다고 밝혔다. 오퍼스 4.5와 5, 소넷 4.6과 5, GPT-5.4와 GPT-5.6(솔)을 비교했다. 세 계열 모두 최신 모델의 재현율, F1 점수, 금액 가중 재현율이 이전 버전보다 낮았다. 코인베이스는 사기 건수를 많이 찾아내는 것과 사기 금액을 많이 탐지하는 것이 서로 다른 목표라고 설명했다. 코인베이스의 시험에서 오퍼스 5와 소넷 5는 이전 버전보다 네 가지 지표 모두 낮았다.

소넷의 재현율은 22.2%포인트, 금액 가중 재현율은 22.9%포인트 하락했다.

GPT-5.6(솔)은 정밀도가 이전 버전보다 11.5%포인트 높았지만, 재현율은 20.7%포인트, 금액 가중 재현율은 21.8%포인트 낮았다. 이번 평가는 최신 모델을 실제 환경에 배포했을 때 고객 피해가 어떻게 달라지는지를 측정한 실험은 아니다.