바뀌는 AI 성능 평가 기준...엔비디아가 권하는 벤치마킹 방법은?

본문

[디지털투데이 석대건 기자] 엔비디아를 비롯한 칩 기업들이 AI 에이전트 시대에 맞춰 성능 평가 기준을 새로 제시하고 있다. 연산 속도 이론치나 벤치마크 점수 하나로는 AI 에이전트가 여러 단계를 거쳐 실제로 끝내는 작업의 양과 결과의 정확성을 가늠하기 어렵기 때문이다. 이에 업계는 성능 수치를 측정 조건과 함께 따져 읽고, 결과물을 사람이 직접 검수해야 한다고 얘기한다.제프 옌 엔비디아 APAC 테크니컬 마케팅 디렉터는 지난 6일 RTX Spark 제품 설명회에서 별도 세션을 통해 벤치마크 방법론에 대해 설명했다. 게임과 일반 애플리케이션은 지금도 초당 프레임 수(FPS), 지연시간, 화질 같은 성능 지표로 평가하지만 AI는 기준이 달라야 한다는 설명이다. 특히 PC에서 직접 AI를 돌리는 로컬 AI 분야는 새로운 시도가 쏟아지며 그 어느 때보다 주목받고 있다고 전했다.

여기에 더해 최근에는 AI 에이전트가 실제 작업 흐름에서 얼마나 일을 해내는지 재는 에이전틱 벤치마킹 방법을 찾는 수요가 늘고 있다는 설명이다.

앞서 다른 칩 기업들도 같은 이유로 성능 평가 방식 변화를 전했다. 흔히 AI 칩 성능 표기에 쓰이는 기준은 'TOPS'로, 신경망처리장치(NPU)가 1초에 처리할 수 있는 연산 횟수를 최고 클록 기준으로 계산한 이론치다. 하지만 칩 기업들은 이 수치가 커져도 메모리 대역폭과 소프트웨어 최적화가 받쳐주지 않으면 실제 AI 성능으로 이어지지 않는다고 본다. 퀄컴의 경우 AI 성능이 엔드투엔드 최적화와 소프트웨어, 구동하는 모델 종류에 따라 달라지는 만큼 벤치마크 결과만으로는 플랫폼 개선 효과를 온전히 검증하기 어렵다고 보고, 외부 벤치마크를 함께 활용하고 있다. Arm도 에이전틱 AI용 CPU 성능 평가 방법론을 따로 내놨다. 엔비디아가 공개한 회사의 첫 시스템온칩(SoC) 플랫폼인 RTX 스파크 역시 에이전트로서 쓰임새가 넓어 메모리 용량과 입력·출력 컨텍스트를 따로 평가 기준을 뒀다고 설명했다.