AI 공학 평가 최고 50.6%…완료율 아닌 산출물 점수
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 구글 클라우드 연구진은 모델 14개와 실행 환경 7개를 85개 과제로 비교했다.
- 클로드 오퍼스 5.5와 클로드 코드 조합이 세 차례 실행 평균에서 가장 높은 점수를 받았다.
- AI 에이전트가 물리 엔지니어링 과제를 수행한 평가에서 최고 조합의 산출물 평균 점수는 50.6%였다.
본문
구글 클라우드 연구진은 모델 14개와 실행 환경 7개를 85개 과제로 비교했다. 클로드 오퍼스 5.5와 클로드 코드 조합이 세 차례 실행 평균에서 가장 높은 점수를 받았다. AI 에이전트가 물리 엔지니어링 과제를 수행한 평가에서 최고 조합의 산출물 평균 점수는 50.6%였다. 구글 클라우드 AI 리서치(Google Cloud AI Research) 연구진은 이달 공개한 논문 ‘PLE: Physical-Engineering’s Last Exam’에서 인공지능(AI) 모델 14개와 에이전트 하네스 7개를 평가했다. 과제당 평균 사용량은 2700만 토큰이었고, 실행 시간은 63분이었다. 여러 자료에 흩어진 조건을 맞춰 결과물로 정리하는 과정도 평가 범위에 포함됐다. 85개 과제 중 48개에서 점수가 50% 미만이었지만, 해당 과제를 모두 완전히 실패했다는 뜻은 아니다.
이 수치는 비공개 테스트 56개 과제만을 대상으로 해 논문의 전체 과제 점수와 평가 범위가 다르다.
AI 에이전트 점수를 비교할 때는 모델뿐 아니라 하네스와 과제 구성, 채점 방식을 함께 살펴야 한다. 본지는 앞서 AI 에이전트 경쟁의 중심이 모델 성능에서 기업 시스템으로 옮겨가는 흐름 을 다뤘다. 이번 연구는 기업 업무 전반이 아니라 공학 산출물을 대상으로 모델과 하네스 조합을 비교했다. 본 기사는 시장 데이터 및 차트 분석을 바탕으로 작성되었으며, 특정 종목에 대한 투자 권유가 아닙니다.