초당 93.2개 수락 토큰, 엔비디아 DGX Spark MTP 시험
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- DGX Spark 단일 요청 시험에서 MTP의 수락 토큰 처리량은 초당 93.2개였다.
- 동시 요청 8개에서는 기본 방식의 생성 토큰 처리량이 가장 높았다.
- 엔비디아 (NVIDIA·$NVDA)의 DGX Spark에서 네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)을 단일 요청으로 시험한 결과, 다중 토큰 예측(MTP) 방식의 수락 토큰 처리량은 초당 93.2개였다.
본문
DGX Spark 단일 요청 시험에서 MTP의 수락 토큰 처리량은 초당 93.2개였다. 동시 요청 8개에서는 기본 방식의 생성 토큰 처리량이 가장 높았다. 엔비디아 (NVIDIA·$NVDA)의 DGX Spark에서 네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)을 단일 요청으로 시험한 결과, 다중 토큰 예측(MTP) 방식의 수락 토큰 처리량은 초당 93.2개였다. 같은 조건에서 기본 방식의 생성 토큰 처리량은 초당 75.6개였다. 엔비디아의 TensorRT Edge-LLM 0.10.0 성능표에서 DFlash 처리량은 배치 1 기준 초당 61.5개 수락 토큰이었다. MTP는 초당 185.0개, DFlash는 초당 149.2개 수락 토큰이었다. 성능표에는 시험 장비가 DGX Spark(GB10)으로 기재됐다. 모델 카드의 DGX Spark 실행 예시는 NVFP4 모델을 vLLM 0.27.1과 DSpark로 구동한다.
DGX Spark용 모델 카드에는 최대 문맥 길이 100만 토큰도 기재됐지만, 이 수치가 64GB 구성에서 검증됐다는 뜻은 아니다. 엔비디아 개발자 영상에는 vLLM과 DSpark로 DGX Spark 한 대에서 동시 작업 16개를 처리하고 초당 500개 이상 토큰을 생성하는 시연이 담겼다. 본지는 앞서 DGX Spark 두 대를 연결한 성능 시험과 판매 계획을 보도했다 . #엔비디아 #DGX Spark #네모트론 3.5 라이트닝 #AI 추론 #TensorRT Edge-LLM 엔비디아(NVIDIA·$NVDA)의 DGX Spark에서 네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)을 단일 요청으로 시험한 결과, 다중 토큰 예측(MTP) 방식의 수락 토큰 처리량은 초당 93.2개였다.