AI 과제 통과율 22.1%p 높아져…마이크로소프트 내부 평가
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 새 실행 체계에서는 모델 호출이 과제당 약 두 배로 늘었지만, 캐시 비용을 반영한 입력 토큰 소비량은 15~21% 줄었다.
- 도구 호출 실패 뒤 작업을 이어간 비율도 기존 체계보다 높았다.
- 마이크로소프트 ($MSFT)가 같은 AI 모델에 새 실행 체계를 적용해 평가한 결과, 복잡한 과제 통과율이 기존보다 22.1%포인트 높았다.
본문
새 실행 체계에서는 모델 호출이 과제당 약 두 배로 늘었지만, 캐시 비용을 반영한 입력 토큰 소비량은 15~21% 줄었다. 도구 호출 실패 뒤 작업을 이어간 비율도 기존 체계보다 높았다. 마이크로소프트 ($MSFT)가 같은 AI 모델에 새 실행 체계를 적용해 평가한 결과, 복잡한 과제 통과율이 기존보다 22.1%포인트 높았다. 모델 자체가 같아도 에이전트가 도구와 작업 단계를 관리하는 방식에 따라 평가 결과가 달라졌다. 마이크로소프트는 11월 7일 공개한 기술 백서에서 코파일럿 스튜디오(Copilot Studio)의 표준 실행 체계와 새 코파일럿 하네스를 같은 평가 과제에 적용했다고 밝혔다. 클로드 오푸스 4.8(Claude Opus 4.8)을 쓴 실험에서 새 체계는 22.1%포인트, GPT-5.5 챗(GPT-5.5 Chat) 비교에서는 10.8%포인트 높은 통과율을 기록했다.
이 수치는 실패 뒤 작업을 이어간 비율이며, 최종 과제 통과율과는 다른 지표다.
이 연구는 코딩 과제를, 마이크로소프트 평가는 기업 업무를 대상으로 했다. 평가 과제와 환경이 달라 두 결과의 점수를 직접 비교할 수 없으며, 마이크로소프트의 결과만으로 다른 과제에서도 새 체계가 우수하다고 단정하기는 어렵다. 본지는 앞서 마이크로소프트 연구진이 에이전트 장기 기억을 저장하기 전 검증해 데이터베이스 탐색 과제 통과율을 39%에서 73%로 높인 연구 를 소개했다. 마이크로소프트는 10월 28일 파운드리 에이전트 서비스(Foundry Agent Service)에서 코파일럿 하네스 공개 시험을 시작했다. 샌드박스 컴퓨팅은 vCPU 시간당 0.0994달러(약 134원), 메모리 1GiB 시간당 0.0118달러(약 16원)이며, 지역과 계약에 따라 달라질 수 있다고 밝혔다.