AMD, MI355X 8개로 키미 K3.1 프로 구동법 공개
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- AMD가 MI355X 8개를 묶은 단일 노드에서 키미 K3.1 프로를 실행하는 구성을 공개했다.
- 개발 시험에서는 결합형 DCP 프리필 최적화 뒤 전체 처리량이 초당 6950토큰에서 1만7678토큰으로 늘었다.
- AMD($AMD)가 인스팅트(Instinct) MI355X GPU 8개로 문샷AI(Moonshot AI)의 키미 K3.1 프로(Kimi K3.1 Pro)를 구동하는 단일 서버 구성을 공개했다.
본문
AMD가 MI355X 8개를 묶은 단일 노드에서 키미 K3.1 프로를 실행하는 구성을 공개했다. 개발 시험에서는 결합형 DCP 프리필 최적화 뒤 전체 처리량이 초당 6950토큰에서 1만7678토큰으로 늘었다. AMD($AMD)가 인스팅트(Instinct) MI355X GPU 8개로 문샷AI(Moonshot AI)의 키미 K3.1 프로(Kimi K3.1 Pro)를 구동하는 단일 서버 구성을 공개했다. 공개 내용은 모델 학습이 아니라 추론·서빙 실행 방식과 AMD 개발 환경에서 측정한 결과에 관한 것이다. ATOM 구성은 MI355X 8개를 묶은 노드 하나에서 텍스트와 이미지 입력을 처리한다. AMD 측 시험에서는 100만 토큰 분량의 요청 한 건이 이 노드에 들어갔다고 밝혔다. 문샷AI 모델 카드에는 키미 K3.1 프로의 총 매개변수가 2조8000억개, 토큰 처리 때 활성화되는 매개변수가 1040억개로 기재돼 있다.
AMD가 공개한 vLLM 개발 시험은 MI355X 8개, TP8·DCP8, 동시 요청 16개, 프롬프트 64개, 접두어 캐시 비활성 설정으로 진행됐다. vLLM은 별도 발표에서 키미 K3.1 프로의 발표 당일 AMD GPU 지원과 TP8 실행 명령을 공개했다. vLLM은 AMD 외에도 엔비디아(NVIDIA, $NVDA) GPU, 구글(Google) TPU, 알리바바(Alibaba) T-Head의 Zhenwu PPU 지원을 함께 밝혔다. 문샷AI는 10월 23일 키미 K3.1 프로를 공개해 자사 앱과 API에서 제공했다. 문샷AI가 키미 K3.1 프로를 공개한 사실은 앞서 전한 바 있다 .