엔비디아, CUDA 13.4에 작업별 GPU 메모리 제한 추가
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- CUDA 13.4의 MPS V3에 작업별 GPU 메모리 제한 기능이 추가됐다.
- 엔비디아($NVDA)는 27일 기술 블로그에서 이 기능을 쿠버네티스 작업에 적용하는 방법을 공개했다.
- CUDA의 다중 프로세스 서비스인 MPS V3와 리눅스 cgroup을 결합해 컨테이너별 GPU 메모리 사용 범위를 설정하는 방식이다.
본문
CUDA 13.4의 MPS V3에 작업별 GPU 메모리 제한 기능이 추가됐다. 엔비디아($NVDA)는 27일 기술 블로그에서 이 기능을 쿠버네티스 작업에 적용하는 방법을 공개했다. CUDA의 다중 프로세스 서비스인 MPS V3와 리눅스 cgroup을 결합해 컨테이너별 GPU 메모리 사용 범위를 설정하는 방식이다. 소프트 한도는 작업의 메모리 목표치로, 이를 넘겨도 할당은 성공할 수 있다. 쿠버네티스에서 CUDA 기능만 설치한다고 작업별 GPU가 자동 배정되는 것은 아니다. 오픈소스 GPU Fractioning Operator는 설정을 GPU 노드에 적용하고 GPU 전체가 아닌 분할 단위로 메모리·연산 사용량을 측정한다. KAI Scheduler 변경 기록에는 9월 23일 공개된 v0.18.0에 분할 GPU 메모리 요청과 연산 모드 지원이 추가된 것으로 나온다.
시간 분할은 여러 작업이 GPU 사용 시간을 번갈아 쓰고, SM 공유는 GPU 연산 자원을 여러 작업이 동시에 이용하는 방식이다.
이번 메모리 분할 기능은 MPS V3를 이용해 작업별 메모리 경계를 설정하며, 엔비디아 문서는 MIG 장치에서 이 기능을 지원하지 않는다고 명시했다. CUDA 13.4의 새 기능을 사용하려면 R615 이상 드라이버가 필요하고, 메모리 분할에는 리눅스 cgroup v2 환경이 요구된다. 따라서 CUDA 13.4 지원 여부만으로 모든 GPU와 클러스터에서 같은 기능을 바로 사용할 수 있는 것은 아니다. 엔비디아가 앞서 러스트 기반 GPU 커널 작성 경로를 공개한 데 이어, 이번에는 여러 작업을 한 GPU에 배치할 때 메모리와 연산 자원을 관리하는 기능을 제시했다.