오퍼스 5.5 78개 문항 매일 평가…리브너프 기준선 수집
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 오픈소스 프로젝트 리브너프가 클로드 오퍼스 5.5의 출시 후 성능 변화를 매일 추적하고 있다.
- 앤트로픽(Anthropic)의 클로드 오퍼스 5.5(Claude Opus 5.5) 출시 후 성능 변화를 추적하는 오픈소스 프로젝트가 가동됐다.
- 리브너프(Livenerf)는 매일 같은 조건으로 모델을 평가하지만 10월 1일 기준 성능 저하 여부를 판단할 결과는 아직 나오지 않았다.
본문
오픈소스 프로젝트 리브너프가 클로드 오퍼스 5.5의 출시 후 성능 변화를 매일 추적하고 있다. 앤트로픽(Anthropic)의 클로드 오퍼스 5.5(Claude Opus 5.5) 출시 후 성능 변화를 추적하는 오픈소스 프로젝트가 가동됐다. 리브너프(Livenerf)는 매일 같은 조건으로 모델을 평가하지만 10월 1일 기준 성능 저하 여부를 판단할 결과는 아직 나오지 않았다. 개인 개발자 ninjahawk가 만든 리브너프는 9월 22일 출시된 오퍼스 5.5를 대상으로 한다. 오퍼스 5.5 출시에 관한 앤트로픽의 기존 설명은 앞선 보도 에서 다뤄졌다. 평가 대상은 GPQA Diamond, MMLU-Pro, 경쟁 수학, AIME 2025~2026에서 추린 2,336개 문항이다. 오퍼스 5.5에 각 문항을 네 차례씩 풀게 한 결과 약 93%를 첫 시도에 맞혔다. 사전 등록 문서에는 첫 기준선 구간이 2026년 9월 24일부터 시작한다고 적혀 있다.
연속된 두 개의 10일 구간에서 기준선과의 차이가 99% 신뢰구간상 0을 포함하지 않고, 변화 폭이 각각 3%포인트 이상이어야 한다. 검증 과정에서 오퍼스 5.5를 오퍼스 5로 바꾼 실험에서는 정확도가 3.8±6.3%포인트 낮아졌지만 99% 수준에서 차이를 구별하지 못했다. 토큰 사용량도 23% 줄었지만, 이 정도 변화는 해당 평가 방식으로 확인하기 어려웠다. 2025년 9월 사후 분석에서는 인프라 버그와 컨텍스트 창 라우팅 오류를 다뤘고, 2026년 4월 업데이트에서는 기본 추론 강도와 사고 캐시, 시스템 프롬프트 변경을 설명했다.