엔비디아, GPU 관리 플랫폼 '런에이아이' 완전 오픈소스로 푼다

본문

[디지털투데이 황치규 기자]엔비디아가 AI 작업과 GPU 자원을 관리하는 '런에이아이(Run:ai) 플랫폼 전체를 오픈소스로 공개했다.회사 측에 따르면 렌에이아이는 쿠버네티스(Kubernetes) 환경에서 GPU 자원을 필요에 따라 나눠주고, 데이터 처리부터 학습, 추론까지 AI 작업 전 과정을 관리할 수 있도록 지원한다.이번 공개로 DSX 생태계 파트너사들과 AI 클라우드 기업들은 GPU 활용률을 높이고 공유 AI 인프라를 보다 효율적으로 운영할 수 있다고 회사측은 설명했다.공개 범위는 플랫폼 전체와 따로 쓸 수 있는 핵심 구성요 회사 측에 따르면 렌에이아이는 쿠버네티스(Kubernetes) 환경에서 GPU 자원을 필요에 따라 나눠주고, 데이터 처리부터 학습, 추론까지 AI 작업 전 과정을 관리할 수 있도록 지원한다.

이번 공개로 DSX 생태계 파트너사들과 AI 클라우드 기업들은 GPU 활용률을 높이고 공유 AI 인프라를 보다 효율적으로 운영할 수 있다고 회사측은 설명했다.

공개 범위는 플랫폼 전체와 따로 쓸 수 있는 핵심 구성요소 4종이다. ‘KAI 스케줄러'는 여러 팀이 클러스터 자원을 공정하게 나눠 쓰도록 작업 배치를 결정한다. ‘GPU 분할 오퍼레이터'는 GPU 한 대를 여러 작업이 나눠 쓰게 해준다. ‘KAI 자원 관리'는 부서와 프로젝트별로 GPU 할당량을 정하고 보장한다. '워크로드 맵'은 쿠버네티스에서 돌아가는 다양한 AI 작업 유형을 일관된 방식으로 정의한다. 크루소, 네비우스, 미란티스, 라파이, 스펙트로클라우드, 새턴클라우드, 오픈네불라시스템즈, 브이클러스터 등이 런에이아이를 통합했거나 관리형 서비스로 제공한다. 네비우스는 자사 AI 클라우드에서 클릭 한 번으로 런에이아이를 배포하는 기능을 제공한다. 엔비디아는 관련 오픈소스 프로젝트인 '모델 스트리머'와 '그로브'도 소개했다. 모델 스트리머는 모델 가중치를 GPU 메모리로 빠르게 불러와 추론 작업 시작 시간을 줄일 수 있도록 지원한다.

그로브는 여러 구성요소가 함께 확장돼야 하는 추론 작업을 API 하나로 관리한다.