Modal, 키미 K3 초당 460토큰 제시…미국 AI 인프라 기업 API에 잇따라

본문

문샷AI의 대형 오픈웨이트 모델 키미 K3가 미국 AI 인프라 기업들의 API 서비스에 잇따라 올라왔다. Modal은 전용 추론 가속기를 적용해 특정 환경에서 초당 460토큰 처리 성능을 제시했다. 중국 문샷AI가 개발한 대형 오픈웨이트 모델 키미 K3가 미국 AI 인프라 기업들의 API 서비스에 잇따라 올라왔다. Modal은 전용 추론 가속기를 적용해 초당 460토큰 처리 성능을 제시했다. 키미 K3는 2.8조개 파라미터를 갖춘 Mixture-of-Experts(MoE) 모델이다. Modal은 2026년 7월 27일 키미 K3 지원을 시작하며 자체 환경에서 초당 460토큰을 처리했다고 밝혔다. 키미 K3에 맞춰 학습한 DFlash 추론 가속기를 적용한 결과로, DFlash는 모델이 생성할 토큰을 미리 제안한 뒤 실제 모델이 이를 검증하는 방식으로 처리량을 높인다.

초당 460토큰이라는 수치는 Modal의 특정 하드웨어와 소프트웨어 설정에서 나온 결과다.

세 업체가 공개한 가격은 입력 토큰 100만개당 3달러(약 4158원), 캐시된 입력 토큰 100만개당 0.30달러(약 416원), 출력 토큰 100만개당 15달러(약 2만79원)다. 반면 키미 K3를 구동하는 데 8개의 GB300이 필요하다는 구체적인 배치 구성은 공개 자료로 확인되지 않았다. Reddit의 한 사용자는 8개의 B300 GPU로 키미 K3를 실행해 초당 92토큰과 토큰 100만개당 약 190달러(약 26만3340원)의 비용을 기록했다고 주장했다. 이 실험은 개인 게시물에 담긴 결과로, Modal이 제시한 초당 460토큰과 같은 조건에서 비교할 수 없다.