엔비디아, AI 에이전트용 '그로크 3 LPX' 양산 돌입…초당 3400토큰 찍었다

본문

[디지털투데이 유승아 인턴기자] 엔비디아가 인공지능(AI) 에이전트용 전용 추론 가속기 '그로크 3 LPX'(Groq 3 LPX)를 양산 체제로 전환했다.24일(현지시간) 실리콘앵글 등 외신에 따르면, 이 칩은 엔비디아의 데이터센터 플랫폼 '베라 루빈'(Vera Rubin)을 확장한 제품으로, 에이전트형 AI에 필요한 초고속 토큰 생성을 겨냥했다. 엔비디아는 '핫칩스 2026'(Hot Chips 2026)에서 이 칩을 공개했으며, 네비우스 그룹(Nebius Group)은 그로크 3 LPX를 도입하기로 한 첫 고객으로 이름을 올렸다. 최근에는 인간을 대신해 업무를 수행하는 자율형 AI 에이전트가 늘면서, 추론과 계획, 코드 작성·실행, 시스템 파일 점검, 외부 도구 호출을 반복 수행하는 과정에서 대량의 토큰을 처리하게 됐다.

그로크 3 LPX는 AI 에이전트가 긴 문맥 창을 스캔하고 데이터를 검증하며 외부 도구를 호출하고 복잡한 다단계 작업을 실시간으로 반복 수행하도록 지연 없이 지원한다는 설명이다. 실제로 아티피셜 애널리시스 벤치마크 테스트에서 그로크 3 LPX는 오픈소스 '제마 4 31B'(Gemma 4 31B) 에이전트형 모델을 10만토큰 문맥 창으로 구동할 때 초당 3400토큰이라는 역대 최고 기록을 냈다. 엔비디아는 지난해 12월 200억달러(약 27조7000억원)를 들여 이 기술에 대한 접근권을 확보했고, 같은 계약을 통해 그로크 창업자 조너선 로스(Jonathan Ross)와 사장 서니 마드라(Sunny Madra)도 영입했다. 젠슨 황(Jensen Huang) 엔비디아 최고경영자(CEO)는 자사가 이미 '그레이스 블랙웰'(Grace Blackwell)과 'NVL72' 플랫폼으로 AI 추론 성능과 효율성에 혁신을 이뤘다고 말했다.

다닐라 시탄(Danila Shtan) 네비우스 최고기술책임자(CTO)는 "생성 단계는 AI 시스템의 실제 응답성을 좌우하는 추론 과정이며, 바로 이 지점을 가속하도록 설계된 것이 그로크 3 LPX"라며 "네비우스 토큰 팩토리를 통해 이를 최초로 상용화한 AI 클라우드로서, 에이전트 루프의 모든 단계가 즉각적으로 느껴지도록 만들고 있다"라고 말했다. 최대 51만2000개 GPU 규모의 클러스터 확장을 지원하는 AI 최적화 이더넷 아키텍처 '스펙트럼-X 멀티플레인', 보안·네트워크·데이터 관리를 메인 호스트 연산 노드에서 오프로드해 가속하는 인프라 소프트웨어 플랫폼 '엔비디아 스케일-인', 맞춤형 CPU와 데이터 처리 장치를 6세대 NV링크 랙 시스템에 연결하는 '엔비디아 NV링크 퓨전'이다.