AI 고난도 과제 20%→53%…스탠퍼드·딥마인드, 터틀 개발

본문

연구진은 기존 과제를 자동으로 변형해 AI의 도구 사용 능력을 시험하는 TURTLE을 제시했다. AppWorld에서 새 과제 735개를 만들었고, 풀이 성공률은 대부분 40~60%에 분포했다. 스탠퍼드대학교(Stanford University)와 구글 딥마인드(Google DeepMind) 연구진이 개발한 TURTLE이 앱 조작 평가 AppWorld에서 고난도 과제 비중을 기존 약 20%에서 53%로 높였다. 논문이 제시한 165% 증가는 고난도 과제 비중의 상대적 변화로, AI 모델의 정답률이 그만큼 오른 것은 아니다. 연구진은 10월 21일 개정한 사전논문 ‘Evolving Self-tuning Benchmarks for Long-Horizon Tool Use’(arXiv:2610.27307)에서 결과를 공개했다. 과제 점수는 풀이 모델의 평균 완료율이 50%에 가까울수록 높아지도록 설계됐다.

기존 과제의 69%는 풀이 모델이 매번 완전히 해결했고 12%는 한 번도 풀지 못했지만, 새 과제는 거의 모두 성공률 40~60% 구간에 놓였다. 기존 과제의 80%는 쉬움 또는 보통으로 분류됐고, 새 과제의 53%는 어려움, 44%는 보통으로 평가됐다. 연구진은 AppWorld에서 논리적 필터링과 추론 등 과제 특성의 빈도가 기존보다 29~212% 늘었다고 집계했다. 기존 과제 16개는 모두 앱 4개를 사용했지만, 새 과제 23개 가운데 52%는 앱 5개, 13%는 앱 6개를 요구했다. 은행 평가에서는 문서 검색 방식에 따라 기존 과제 17개에서 82개, 24개에서 178개를 각각 생성했다. 과제의 특성과 풀이 오류 유형을 조합한 범위도 AppWorld에서 기존 49종에서 새 과제 54종으로 늘었다.