Nvidia의 GB300 FP4 제출은 여전히 ​​비용 효율성 측면에서 Google의 TPUv7에 뒤처집니다.

본문

SemiAnalytics는 Nvidia의 GB300 FP4 제출이 에이전트 추론에 대한 Google의 TPUv7보다 달러당 성능이 1.64배 더 나쁘다는 것을 발견했습니다. NVIDIA 공식 뉴스룸(nvidianews.nvidia.com/bios/jensen-huang) SemiAnalytic은 Nvidia의 FP4 항목이 에이전트 추론에 대한 Google의 TPUv7보다 달러당 성능이 1.64배 더 나쁘다고 밝혔습니다. Nvidia는 수년 동안 AI 하드웨어의 확실한 헤비급으로 보냈습니다. SemiAnalytics에 따르면 Nvidia의 GB300 FP4 제출은 Google의 TPUv7보다 달러당 성능이 1.64배 더 나쁩니다. 달러당 성능 측정에서 Google의 TPUv7 제출은 Nvidia의 GB300 FP4보다 1.42~1.67배 더 뛰어났습니다. Nvidia의 항목은 FP4를 사용한 반면 Google의 TPUv7은 FP8에서 실행되었습니다.

Nvidia는 더 가벼운 도구를 가져왔지만 여전히 비용 효율성이 뒤처졌습니다. 서류상 GB300 NVL72는 GPU당 최대 15PFLOPS의 고밀도 FP4 컴퓨팅과 랙당 1.1exaFLOPS를 제공합니다. SemiAnalytic은 성능 효율성에 대한 입지를 개선하기 위해 Nvidia로부터 더 많은 반대 제출이 있을 것으로 예상합니다. TPUv7이 에이전트 추론에서 달러당 1.42~1.67배 더 나은 성능을 제공한다면 비용에 민감한 기업은 해당 워크로드에 대해 Nvidia 이외의 제품을 찾아야 할 구체적인 이유가 있습니다. 다음 결과에서는 이것이 Nvidia가 조정할 수 있는 일시적인 소프트웨어 격차인지 아니면 에이전트 추론에 대한 Google 아키텍처의 구조적 비용 이점인지를 보여줄 것입니다. Nvidia의 비용 효율성 지연으로 인해 기업은 대안을 고려하게 되어 잠재적으로 AI 하드웨어의 경쟁 역학을 재편할 수 있습니다.

Nvidia의 GB300 FP4 제출은 여전히 ​​비용 효율성 측면에서 Google의 TPUv7을 뒤쫓고 있으며 Crypto Briefing에 처음 등장했습니다.