MKA 200개 비공개…채점 비중은 사실 정확도 75%·디자인 25%

본문

구글 딥마인드와 아티피셜 애널리시스가 시각 자료 해석부터 문서 작성까지 평가하는 MKA를 공개했다. 시각 자료를 읽어 실무 문서를 만드는 AI 에이전트를 평가하는 벤치마크 MKA가 공개됐다. 과제 200개를 10개 분야에서 운영하며, 채점의 75%는 사실 정확도, 25%는 시각 디자인에 반영한다. 구글 딥마인드(Google DeepMind)는 10일 공식 발표에서 아티피셜 애널리시스(Artificial Analysis)와 함께 멀티모달 지식 에이전트(Multimodal Knowledge Agent·MKA)를 개발했다고 밝혔다. 기술 보고서가 제시한 이 수치는 50개 과제에서 높은 배점의 기준을 중심으로 자동 채점 결과와 전문가 평가를 비교한 결과다(기술 보고서). 비공개 과제와 제한된 반복 실행은 외부에서 전체 순위를 그대로 재현하기 어렵게 하는 요소다.

구글 딥마인드 기술 보고서의 Climb-WSR 기준으로 클로드 페이블 5.2(Claude Fable 5.2)는 56.56%, 제미나이 4 카본(Gemini 4 Carbon)은 54.34%를 기록했다. Climb-WSR는 모델이 비교적 쉽게 통과하지 못한 채점 기준에서 과제별 가중 만족도를 계산한 지표다. 따라서 점수는 과제를 전부 끝낸 비율이나 모든 업무에서의 성공률을 뜻하지 않는다(MKA 평가 페이지). 이 비교는 보고서 작성 당시 공급사 표준 가격을 적용했으며, 평가 대상 모델의 호출 비용만 포함하고 채점 비용은 제외했다. 제미나이 4 카본이 별도 인공지능 성능 지표에서 59점으로 1위를 기록한 사실 은 MKA와 다른 평가 결과다. 본 기사는 시장 데이터 및 차트 분석을 바탕으로 작성되었으며, 특정 종목에 대한 투자 권유가 아닙니다.