AWS 운영 시험 모델 실패 80%는 추론 오류로 분류됐다

본문

CloudOpsBench 개발팀은 시험 모델들의 AWS 운영 과제 실패 원인을 분석했다. 공식 리더보드에서 가장 높은 성공률은 Claude Fable 5.1(max)·Claude Code 조합의 60.6%였다. 클라우드옵스벤치(CloudOpsBench) 개발팀은 자사가 시험한 모델들의 AWS 운영 과제 실패 사례 중 약 80%를 추론 오류로 분류했다. 개발팀은 2일 공개한 공식 분석에서 실패 원인을 서비스 지식 부족, 추론 오류, 잘못된 조치로 나눴다. 잘못된 조치는 실패 사례의 약 20%였고, 서비스 작동 방식을 몰라 실패한 과제는 없었다고 밝혔다. 이 비율은 해당 벤치마크에서 시험한 모델들의 실패 과제 가운데 각 원인이 차지한 비중이다. CloudOpsBench v1.0은 AWS 운영 과제 45개로 구성됐다.

공식 리더보드에서 11월 5일 확인한 상위 성공률은 Claude Fable 5.1(max)·Claude Code 조합 60.6%, GPT-6 Astra(max)·Codex 58.9%, Gemini 4 Argon(high)·Gemini CLI 57.5%다. 이 수치는 모델 단독 점수가 아니라 모델, 추론 설정, 실행 도구를 함께 측정한 결과다. 이 과제 완료 개수와 리더보드의 180회 시도 성공률은 집계 단위가 다르며, 산식과 실행 설정의 관계도 확인되지 않아 같은 기준으로 비교할 수 없다. 모든 큐를 정리하라는 과제에서 시험 모델들은 SQS 외에 AWS MediaConvert에 속한 큐를 확인하지 않았다. 개발팀은 시험 모델들이 MediaConvert에도 큐가 있다는 사실을 알고 있었지만, 어느 시도에서도 큐 목록을 확인하지 않았다고 설명했다.