TPUv7 FP8 효율, GB300의 1.85배…FP4선 뒤져
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- Qwen3.5-397B의 같은 FP8 비교에서 TPUv7은 GB300보다 외부 고객 총소유비용 기준 1.85배 높은 달러당 토큰 처리량을 기록했다.
- 구글(Google)의 TPUv7과 엔비디아($NVDA)의 GB300은 AI 에이전트 추론 시험에서 비용 효율 우위가 비교 조건에 따라 엇갈렸다.
- 같은 FP8 정밀도끼리 비교할 때는 TPUv7이 앞섰지만, GB300의 FP4 결과와 비교하면 우열이 뒤집혔다.
본문
Qwen3.5-397B의 같은 FP8 비교에서 TPUv7은 GB300보다 외부 고객 총소유비용 기준 1.85배 높은 달러당 토큰 처리량을 기록했다. 구글(Google)의 TPUv7과 엔비디아($NVDA)의 GB300은 AI 에이전트 추론 시험에서 비용 효율 우위가 비교 조건에 따라 엇갈렸다. 같은 FP8 정밀도끼리 비교할 때는 TPUv7이 앞섰지만, GB300의 FP4 결과와 비교하면 우열이 뒤집혔다. 세미애널리시스(SemiAnalysis)는 2026년 10월 19일 공개한 InferenceX 비교표에서 Qwen3.5-397B를 사용자당 초당 200토큰 처리 조건으로 비교했다. TPUv7의 달러당 토큰 처리량은 FP8 대 FP8 비교에서 GB300의 1.85배였다. 같은 비교 지점에서 TPUv7 FP8을 GB300 FP4와 비교하면 상대 처리량은 외부 고객 비용 기준 0.54배, 구글 내부 비용 기준 0.64배였다.
초기 Qwen3.5 비교에서 TPUv7은 vLLM을 이용한 4칩 단일 호스트로 작동했고, GB300은 4~32개 GPU를 사용했다. 세미애널리시스는 10월 16일 엑스(X)에 올린 첫 TPUv7 제출 결과가 외부 고객 비용 기준으로 GB300 NVL72 FP4보다 성능 대비 비용 효율이 1.42배 높았다고 주장했다. 이 수치는 초기 제출 결과로, 이후 비교표의 FP8 대 FP8 수치와 측정 조건이 다르다. Qwen3.5에 llm-d 기반 분리형 서빙을 적용한 TPUv7은 GB300 FP8을 모든 응답 속도 구간에서 앞섰다고 밝혔다. 앤스로픽(Anthropic)은 2025년 10월 23일 구글 클라우드 기술 사용을 확대하고 최대 100만 개 TPU에 접근할 계획이라고 밝혔다. 오라클(Oracle)은 2026년 10월 27일 발표문에서 구글 TPU를 오라클 클라우드 인프라에서 2027년부터 제공할 계획이라고 밝혔다.