AI 추론용량 지표 공개…메모리·칩 통신까지 반영
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- Epoch AI는 가속기당 동시 추론 요청 처리 용량을 비교하는 지표를 공개했다.
- 모델 4종과 26만2144토큰 문맥, 요청당 초당 50~400토큰 출력 조건을 적용한다.
- AI 가속기 한 개가 동시에 처리할 수 있는 추론 요청 용량을 모델링하는 지표가 공개됐다.
본문
Epoch AI는 가속기당 동시 추론 요청 처리 용량을 비교하는 지표를 공개했다. 모델 4종과 26만2144토큰 문맥, 요청당 초당 50~400토큰 출력 조건을 적용한다. AI 가속기 한 개가 동시에 처리할 수 있는 추론 요청 용량을 모델링하는 지표가 공개됐다. Epoch AI는 변경 이력에 추론 성능 지표(Inference Performance Index) 버전 1을 10월 19일 추가했다고 기록했다. 엔비디아 제품 자료에서 GB300 NVL72는 블랙웰 울트라 GPU 72개를 랙 하나에 연결한 시스템이며, GPU마다 HBM3e 메모리 288GB를 탑재한다. H100 SXM은 GPU당 HBM3 메모리 80GB와 초당 3.35TB의 메모리 대역폭을 제공한다. 긴 문맥을 다루는 추론에서는 저장된 정보를 읽는 메모리 대역폭과 여러 칩 사이의 통신도 실행 시간에 영향을 준다.
이 비교는 DeepSeek-R1을 대상으로 GB300에는 FP4와 Dynamo 구성을, H100에는 FP8과 인플라이트 배칭을 적용한 업체 측 수치다.
별도의 사례로, 앞서 엔비디아는 GB300에서 큐원3.8-플래시-넥스트의 단일 GPU 처리량이 초당 1만6000토큰을 넘었다고 제시했다. MLCommons가 11월 4일 공개한 MLPerf Endpoints v1.0 보고서에는 GB300 NVL72의 GPU 4개 시스템으로 DeepSeek-V4.1-Flash를 실행한 결과가 담겼다. Epoch AI 지표는 네 모델과 출력 속도 구간을 평균한 가속기당 처리 용량을 모델링하며, MLPerf 보고서는 특정 모델과 시스템 구성에서 나온 시험 결과다. Epoch AI 변경 이력 점수는 모델 4종 각각의 처리 용량을 GB300 기준으로 정규화한 뒤 평균을 내 산출한다.