RTX 5090 240장으로 8B 학습…스마트폰 CPU서 초당 59.6토큰
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- Chutes AI가 13개국에 분산된 RTX 5090 GPU 240장으로 80억 매개변수 모델을 학습했다고 밝혔다.
- 완성된 모델은 스마트폰 CPU에서 초당 59.6토큰을 생성했다.
- Chutes AI가 30개 호스트와 13개 국가에 분산된 RTX 5090 GPU 240장으로 80억 매개변수 규모의 인공지능 모델을 학습하고, 완성된 모델을 스마트폰 중앙처리장치(CPU)에서 구동했다고 밝혔다.
본문
Chutes AI가 13개국에 분산된 RTX 5090 GPU 240장으로 80억 매개변수 모델을 학습했다고 밝혔다. 완성된 모델은 스마트폰 CPU에서 초당 59.6토큰을 생성했다. Chutes AI가 30개 호스트와 13개 국가에 분산된 RTX 5090 GPU 240장으로 80억 매개변수 규모의 인공지능 모델을 학습하고, 완성된 모델을 스마트폰 중앙처리장치(CPU)에서 구동했다고 밝혔다. 이번 시연은 9월 28~29일 캐나다 몬트리올에서 열린 Exploit Summit에서 공개됐다. 관련 내용은 Crypto Briefing이 9월 30일 전했다. 학습에 사용된 GPU는 엔비디아($NVDA) RTX 5090 240장이다. Chutes AI가 제시한 학습 비용은 약 6500달러(약 880만원)이며, 10억 토큰당 비용은 약 11달러(약 1만4894원)다. 완성된 8B 모델은 스마트폰 CPU에서 초당 약 59.6토큰을 생성했다.
407억5000만 매개변수 규모의 더 큰 모델은 12GB 메모리를 사용하면서 초당 26.9토큰을 처리했다. Chutes AI 커뮤니티는 9월 10일부터 학습 토큰 수와 호스트 수, 초당 처리량 등을 실시간 대시보드로 공개했다고 설명했다. 일부 이용자는 소비자용 GPU를 활용하면 인공지능 학습 비용을 낮출 수 있다는 점에 주목했다. 반면 커뮤니티 게시물 자체에서도 RTX 5090의 안정성 문제와 비교 기준 부족이 언급됐다.