최대 3.01배 추론 성능…AMD($AMD)·메타($META) 최적화
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- AMD와 메타가 파이토치(PyTorch)의 AMD GPU 연산 경로에 FlyDSL을 연결했다.
- 단일 MI355X의 vLLM 시험에서 MXFP4 조건의 요청 전체 성능이 ATen 대비 최대 3.01배로 측정됐다.
- AMD($AMD)와 메타($META)가 파이토치에서 AMD 그래픽처리장치( GPU )의 연산을 최적화하는 FlyDSL 연동 결과를 공개했다.
본문
AMD와 메타가 파이토치(PyTorch)의 AMD GPU 연산 경로에 FlyDSL을 연결했다. 단일 MI355X의 vLLM 시험에서 MXFP4 조건의 요청 전체 성능이 ATen 대비 최대 3.01배로 측정됐다. AMD($AMD)와 메타($META)가 파이토치에서 AMD 그래픽처리장치( GPU )의 연산을 최적화하는 FlyDSL 연동 결과를 공개했다. 단일 AMD 인스팅트 MI355X의 vLLM 시험에서 MXFP4 조건의 요청 전체 성능은 ATen 기준 최대 3.01배로 측정됐다. 두 회사가 10월 21일 공개한 기술 보고서에는 FlyDSL을 인스팅트 MI350 시리즈의 기존 파이토치 연산자에 연결하는 방법과 성능 측정 결과가 담겼다. BF16 밀집 행렬곱 15개 입력 형태의 속도는 각 형태에서 더 빨랐던 기존 ATen 또는 Triton 구현과 비교한 기하평균 1.10배였다.
실제 추론 요청을 처리하는 vLLM A/B 시험도 단일 MI355X에서 진행됐다.
보고서가 제시한 vLLM 시험의 최대 요청 전체 성능 향상률은 BF16 1.13배, MXFP8 2.04배, MXFP4 3.01배였다. 미국 산호세에서 10월 20~21일 열린 행사에는 3500명 이상이 참석했다고 파이토치 재단(PyTorch Foundation)이 사후 정리에서 밝혔다. AMD는 행사 사전 일정에 AMD GPU용 고성능 Triton GEMM 구성을 JIT 컴파일 전에 예측하는 분석 모델 PerfModel 세션도 올렸다. 행사 프로그램 안내에 이 세션이 포함됐지만, 재단의 사후 정리는 FlyDSL 업데이트를 기록하고 PerfModel의 성능 결과는 싣지 않았다. AMD는 행사 첫날 인텔($INTC)과 파이토치의 x86 CPU 최적화 경로를 oneDNN으로 통합하기로 했다.