Stanford와 Google DeepMind는 AI 벤치마크를 발전시키기 위해 TURTLE을 구축했습니다.
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- Stanford와 Google DeepMind의 TURTLE은 AlphaEvolve를 사용하여 AI 도구 사용 벤치마크를 더 어렵지만 해결 가능하게 만들고 어려운 AppWorld 작업을 165% 향상시킵니다.
- 시스템은 AlphaEvolve를 사용하여 도구 사용 테스트를 해결 가능하게 유지하면서 더 어렵게 만듭니다.
- 따라서 벤치마크는 AI 모델을 측정하는 모델과 보조를 맞춰 측정을 위해 구축된 테스트를 계속해서 향상시킬 수 있습니다.
본문
Stanford와 Google DeepMind의 TURTLE은 AlphaEvolve를 사용하여 AI 도구 사용 벤치마크를 더 어렵지만 해결 가능하게 만들고 어려운 AppWorld 작업을 165% 향상시킵니다. 시스템은 AlphaEvolve를 사용하여 도구 사용 테스트를 해결 가능하게 유지하면서 더 어렵게 만듭니다. 따라서 벤치마크는 AI 모델을 측정하는 모델과 보조를 맞춰 측정을 위해 구축된 테스트를 계속해서 향상시킬 수 있습니다. 스탠포드 대학과 Google DeepMind의 연구원들은 테스트가 반격하도록 하는 것이 해결책이라고 생각합니다. 새로운 시스템인 TURTLE은 기존 도구 사용 벤치마크를 가져와 더 강력한 버전으로 발전시킵니다. 이는 도구 사용에 중점을 둡니다. 즉, AI 에이전트가 소프트웨어를 얼마나 잘 작동하여 여러 단계에 걸쳐 실제 작업을 완료할 수 있는지를 의미합니다.
DeepMind의 AlphaEvolve 진화 코딩 에이전트를 기반으로 구축된 제안자는 작업 변경을 제안합니다. 팀은 AppWorld, τ-Bench 및 AutomationBench를 포함한 여러 확립된 벤치마크에서 TURTLE을 테스트했습니다. 거의 모든 735개의 진화된 AppWorld 작업이 40%에서 60% 사이의 솔버 성공률로 달성되었습니다. AlphaEvolve는 2025년에 도입되었으며 DeepMind의 Gemini 모델을 기반으로 하며 TURTLE은 이를 알고리즘이 아닌 테스트 설계라는 새로운 문제에 적용합니다. AppWorld, τ-telecom, τ-banking 및 AutomationBench에서 작동하는 방법은 하나의 환경에 얽매이지 않아 더 폭넓게 사용할 가능성이 있음을 시사합니다. TURTLE의 진화하는 AI 벤치마크는 AI 기능에 대한 보다 정확한 평가를 촉진하여 AI 개발의 혁신과 적응성을 촉진할 수 있습니다.
Stanford와 Google DeepMind가 AI 벤치마크를 발전시키기 위해 TURTLE을 구축한 게시물이 Crypto Briefing에 처음 등장했습니다.