코드 수정 70.2%…클로드 오퍼스 4.5, 기록 압축 시험
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 엔비디아 연구진은 13개 벤치마크에서 작업 기록을 요약하는 방식을 시험했다.
- GPT 5.6 Sol은 두 코딩 과제에서 전체 기록 유지 기준보다 낮은 성적을 냈다.
- 클로드 오퍼스 4.5는 작업 기록을 매 행동 뒤 요약해 넘긴 코드 수정 시험에서 70.2%의 해결률을 기록했다.
본문
엔비디아 연구진은 13개 벤치마크에서 작업 기록을 요약하는 방식을 시험했다. GPT 5.6 Sol은 두 코딩 과제에서 전체 기록 유지 기준보다 낮은 성적을 냈다. 클로드 오퍼스 4.5는 작업 기록을 매 행동 뒤 요약해 넘긴 코드 수정 시험에서 70.2%의 해결률을 기록했다. 시험에는 클로드 오퍼스 4.5(Claude Opus 4.5)와 GPT 5.6 Sol이 사용됐다. 코드 수정 평가에 쓰인 SWE-bench Verified는 실제 GitHub 이슈 500건을 바탕으로 에이전트가 만든 패치가 별도 테스트를 통과하는지 측정한다. 다른 코딩 과제인 Terminal-Bench 2.1에서는 클로드 오퍼스 4.5가 단일 행동 압축 설정에서 51.8%를 기록했다. 단일 행동 압축 설정의 해결률은 SWE-bench Verified에서 82.4%, Terminal-Bench 2.1에서 84.3%로, 전체 기록 유지 기준인 84.4%와 87.6%를 각각 밑돌았다.
전체 기록 유지 방식과 비교한 성적 차이는 클로드 오퍼스 4.5가 -3.7~+5.6%포인트, GPT 5.6 Sol이 -3.3~+4.4%포인트였다. 다른 압축 설정의 SWE-bench Verified 시험에서 클로드 오퍼스 4.5는 74.8%를 기록했다. 이때 전체 문맥 상한은 2만4000토큰, 압축 기준은 1만8000토큰으로, 매 행동 뒤 요약한 시험과는 설정이 달랐다. 단일 행동 압축 시험에서 작업별 최대 문맥 길이는 전체 기록 유지 방식의 13만~20만 토큰에서 1만5000~3만7000토큰으로 줄었다. 압축 방식의 최대 문맥 길이 중앙값은 7000~9000토큰이었다.