엔비디아 DGX Spark, 추론 처리량 42.5% 늘었다

본문

엔비디아가 DGX Spark 한 대에서 진행한 Ling-3.0-flash 시험에서 세 가지 최적화를 함께 적용해 처리량을 42.5% 높였다. 평균 지연시간은 24.5% 줄었으며, 이는 특정 모델과 시험 설정에서 나온 자체 평가 결과다. 엔비디아(NVIDIA·$NVDA)가 DGX Spark 한 대에서 Ling-3.0-flash 추론 최적화 세 가지를 함께 적용한 결과, GSM8K 수학 문항 1319개 시험에서 처리량이 42.5% 늘었다. 초당 생성 토큰은 37.81개에서 53.89개로 증가했고 평균 응답 지연시간은 15.21초에서 11.49초로 줄었다. Ling-3.0-flash는 전체 파라미터가 1240억개이며 토큰을 생성할 때마다 51억개를 활성화하는 전문가 혼합(MoE) 모델이다. 엔비디아가 입력 3만2000토큰과 출력 2000토큰을 사용한 합성 시험에서 토큰 하나를 만드는 시간은 27.71밀리초에서 25.35밀리초로 줄었다.

처리량은 초당 36.09토큰에서 39.45토큰으로 9.3% 증가했다.

Humming과 FP8을 함께 적용한 합성 시험의 처리량은 초당 43.94토큰으로, 두 방법을 적용하지 않은 기준 구성보다 21.7% 높았다. 출력 길이를 2000토큰으로 고정하고 탐욕 디코딩을 사용한 합성 시험에서는 반복적인 출력이 예측 토큰의 채택을 쉽게 만들 수 있다고 엔비디아는 설명했다. 서로 다른 조건에서 측정한 결과인 만큼, 합성 시험의 185.1%와 GSM8K 시험의 42.5%는 구분해 봐야 한다. 본지는 앞서 DGX Spark 두 대를 연결한 성능 시험과 판매 계획을 전했다 . 본 기사는 시장 데이터 및 차트 분석을 바탕으로 작성되었으며, 특정 종목에 대한 투자 권유가 아닙니다.