Google의 엔지니어링 벤치마크 결과 최고 AI 에이전트의 점수가 50.6%에 불과한 것으로 나타났습니다.

본문

Google의 PLE 벤치마크에 따르면 최고의 AI 에이전트는 실제 엔지니어링 작업에서 50.6%의 점수를 얻었으며 하드 설계 제약 조건을 충족하는 시간은 41%에 불과했습니다. 새로운 Google Cloud AI 연구 논문에서는 85가지 실제 엔지니어링 작업에 대해 AI 에이전트를 테스트했으며, 최고의 모델은 2026년 10월 27일 세션의 Gloria 일일 마감을 겨우 절반 정도 클리어했습니다. 연간 수익, 수익 성장, 순이익 및 마진은 자체 회계 기간을 표시하고 10-K를 연결합니다. 현재 사용 가능한 최고의 AI 에이전트는 실제 엔지니어링 시험의 약 절반을 통과할 수 있습니다. Google Cloud AI Research는 PLE: Physical-Engineering’s Last Exam이라는 벤치마크를 출시했습니다. 최첨단 AI 에이전트가 엔지니어가 실제로 청구하는 작업을 수행할 수 있는지 테스트합니다.

최고 성과자인 Anthropic의 Claude Opus 5.5는 평균 50.6%의 점수를 기록했습니다. 더 어려운 숫자는 이것이다. 벤치마크에서는 최고 에이전트가 설계 작업의 41.3%에서만 모든 어려운 엔지니어링 제약 조건을 충족한 것으로 나타났습니다. 벤치마크에는 4개 분야에 걸쳐 85개의 장기적인 작업이 포함되어 있습니다. 50.6% 평균 점수와 41.3% 제약 통과 비율 사이의 차이는 이러한 시스템이 어느 부분에서 문제가 있는지 알려줍니다. 엄격한 엔지니어링 제약 조건을 충족하는 데 있어 AI의 현재 제한 사항은 감독되지 않은 배포 전에 추가 개발의 필요성을 강조합니다. Google의 엔지니어링 벤치마크에서 50.6%의 점수를 얻은 최고의 AI 에이전트가 Crypto Briefing에 처음 등장했습니다.