초당 607.8토큰…엔비디아 GLM-5.3 두 장비 분산 구동
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 엔비디아는 두 대의 GB300 DGX Station에서 모델을 분산 실행하는 설정을 공개했고, 동시 요청 32건의 처리량은 초당 385.0토큰이었다.
- 엔비디아 (NVIDIA·$NVDA)가 GB300 DGX Station 두 대에서 GLM-5.3을 분산 실행해 동시 요청 16건에서 총 처리량 초당 607.8토큰을 기록했다.
- 엔비디아는 13일 기술 블로그에서 모델 배치 방법과 자체 성능 시험 결과를 공개했다.
본문
엔비디아는 두 대의 GB300 DGX Station에서 모델을 분산 실행하는 설정을 공개했고, 동시 요청 32건의 처리량은 초당 385.0토큰이었다. 엔비디아 (NVIDIA·$NVDA)가 GB300 DGX Station 두 대에서 GLM-5.3을 분산 실행해 동시 요청 16건에서 총 처리량 초당 607.8토큰을 기록했다. 엔비디아는 13일 기술 블로그에서 모델 배치 방법과 자체 성능 시험 결과를 공개했다. Station A가 OpenAI 호환 API를 열고 Station B가 작업자로 연결돼, 이용자는 단일 API에 접속하는 구성이다. GLM-5.3은 Z.ai가 개발한 전문가 혼합(MoE) 모델이다. 전체 매개변수 7530억개 중 토큰을 처리할 때 활성화되는 매개변수는 400억개다. 안내에는 연결 상태 확인부터 체크포인트 복사, API 응답 확인, 장비 간 통신 점검까지의 절차가 담겼다.
동시 요청 1건의 총 처리량은 초당 107.4토큰, 8건은 386.0토큰, 16건은 607.8토큰이었다.
32건에서는 초당 385.0토큰으로 낮아졌으며, 처리량 집계에는 추론 토큰도 포함됐다. 따라서 초당 607.8토큰은 동시 요청 16건 조건에서 나온 전체 처리량으로, 이용자 한 명이 받는 답변 속도와 같지 않다. 입력과 출력이 각각 512토큰인 작업에서 동시 요청 256건의 출력 처리량은 초당 5018토큰이었다. 본 기사는 시장 데이터 및 차트 분석을 바탕으로 작성되었으며, 특정 종목에 대한 투자 권유가 아닙니다.