구글·카네기멜런대, AI 하네스 통합 점수 76.7% 기록
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 구글과 카네기멜런대학교 연구진이 AI 에이전트의 기능과 보안을 함께 평가하는 하네스 진화 방식을 제안했다.
- SecRepoBench 탐색 분할에서 두 목표를 모두 충족한 비율은 76.7%였다.
- 구글과 카네기멜런대학교 연구진이 AI 에이전트의 기능과 보안을 함께 고려하는 하네스 진화 방식을 제안했다.
본문
구글과 카네기멜런대학교 연구진이 AI 에이전트의 기능과 보안을 함께 평가하는 하네스 진화 방식을 제안했다. SecRepoBench 탐색 분할에서 두 목표를 모두 충족한 비율은 76.7%였다. 구글과 카네기멜런대학교 연구진이 AI 에이전트의 기능과 보안을 함께 고려하는 하네스 진화 방식을 제안했다. SecRepoBench 탐색 분할에서 기능과 보안을 모두 충족한 비율은 76.7%였고, BaxBench 세 분할 평균 통합 점수는 61.3%였다. 연구진은 10월 10일 논문 저장소 arXiv에 ‘Harmony Harness: 에이전트 하네스의 다목적 자기 진화’를 공개했다. 논문은 구글 클라우드 AI 리서치, 구글 딥마인드, 카네기멜런대학교 연구진이 작성했다. 하네스는 AI 모델이 도구를 호출하고 작업 상태를 추적하며 과정을 이어가도록 돕는 실행 환경이다. 기존 하네스 진화 방식은 대체로 단일 점수에 맞춰 시스템 전체를 한꺼번에 수정한다.
하네스 전체를 바꾸는 대신 도구·기술·작업 논리 등 필요한 부분을 골라 수정하는 방식이다. SecRepoBench 탐색 분할에서 기능과 보안을 동시에 충족한 비율은 76.7%였다. BaxBench에서는 세 분할의 평균 통합 점수가 61.3%로 기준선 42.9%를 웃돌았다. 이번 연구는 하네스 설계가 에이전트의 작업 수행에 미치는 영향을 다룬다는 점에서, AI 에이전트의 실행 구조에 따라 벤치마크 결과가 달라질 수 있다는 기존 연구 와 주제가 이어진다.