코딩 AI 평가 과제 322개로 확대…세 시험 점수 같은 비중
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 아티피셜 애널리시스가 코딩 에이전트 평가 과제를 290개에서 322개로 늘렸다.
- 아티피셜 애널리시스(Artificial Analysis)가 코딩 에이전트 평가 과제를 290개에서 322개로 늘렸다.
- 아티피셜 애널리시스는 14일 현재 공개한 코딩 에이전트 지수 v2.1 방법론에서 세 시험 점수를 같은 비중으로 합산한다고 설명했다.
본문
아티피셜 애널리시스가 코딩 에이전트 평가 과제를 290개에서 322개로 늘렸다. 아티피셜 애널리시스(Artificial Analysis)가 코딩 에이전트 평가 과제를 290개에서 322개로 늘렸다. 아티피셜 애널리시스는 14일 현재 공개한 코딩 에이전트 지수 v2.1 방법론에서 세 시험 점수를 같은 비중으로 합산한다고 설명했다. 전체 과제 점수를 한데 모아 평균을 내는 방식과 달리, 과제가 많은 시험에 더 높은 비중을 주지 않는다. v2.1은 오픈소스 저장소 수정 능력을 평가하는 FrontierCode-AA 2.0 132개, 명령줄 환경의 여러 단계 작업을 보는 Terminal-Bench 4.1 66개, 저장소를 읽고 질문에 답하는 SWE-Atlas-QnA-AA 124개 과제로 구성된다. 과제 수가 늘어난 이유는 FrontierCode 시험이 바뀌었기 때문이다.
v2.0에서 사용한 FrontierCode v1.1은 100개 과제였고, v2.1의 FrontierCode-AA 2.0은 132개다.
다른 두 시험의 과제 수는 유지돼 전체 증가분 32개가 모두 이 시험에서 나왔다. Terminal-Bench 4.1은 4.0과 같은 66개 과제와 실행 환경을 유지하면서 검증기를 손봤다. SWE-Atlas-QnA-AA는 124개 과제로, 저장소의 코드를 직접 고치는 대신 코드를 읽고 질문에 답하는 능력을 평가한다. 평가 과제와 일부 채점·비용 산식이 달라져 두 버전의 점수 차이를 모델 성능 변화로만 해석하기 어렵다. 14일 현재 공개 순위표는 v2.1과 세 평가 구성을 표시한다.