엔비디아, AI 학습 중단 감지·재시작 도구 공개
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 엔비디아가 분산 AI 학습 작업의 문제를 감지하고 Slurm 작업 복구를 조정하는 오픈소스 서비스를 공개했다.
- 도구는 실험 단계이며, 실제 작업 조치에는 운영자 설정과 작업별 정책이 필요하다.
- 엔비디아 (NVIDIA·$NVDA)가 분산 인공지능(AI) 학습 작업의 충돌·멈춤·처리량 저하를 감지해 재시작을 조정하는 오픈소스 서비스 ‘NVIDIA Recovery’를 공개했다.
본문
엔비디아가 분산 AI 학습 작업의 문제를 감지하고 Slurm 작업 복구를 조정하는 오픈소스 서비스를 공개했다. 도구는 실험 단계이며, 실제 작업 조치에는 운영자 설정과 작업별 정책이 필요하다. 엔비디아 (NVIDIA·$NVDA)가 분산 인공지능(AI) 학습 작업의 충돌·멈춤·처리량 저하를 감지해 재시작을 조정하는 오픈소스 서비스 ‘NVIDIA Recovery’를 공개했다. 엔비디아 DSX 공식 문서는 Recovery를 DSX OS의 ‘상태 관리 및 복원력’ 구성요소로 소개한다. 공개 저장소와 공식 문서에는 Apache 2.0 라이선스가 표시돼 있다. DSX OS 문서는 이를 AI 팩토리 인프라의 구축·운영·확장을 위한 모듈형 오픈소스 소프트웨어로 설명한다. 프로세스 하나가 실패하거나 작업이 멈추면 해당 작업에 배정된 GPU 전체의 학습 진전이 중단될 수 있다. 감지에는 운영자가 설정한 로그 패턴과 학습 진행 신호가 쓰인다.
충돌 감지는 PyTorch·NCCL, CUDA, GPU 연결 오류 등의 흔적을 찾고, 멈춤 감지는 예상한 진행 신호가 끊겼는지 살핀다. 처리량 저하도 감지 대상이지만, 이를 이유로 한 자동 복구는 기본 설정에서 꺼져 있다. 운영자가 조치 모드와 스케줄러 작업 승인 설정을 활성화하고 작업 정책이 재시도를 허용하면 재시작 권고를 스케줄러 연동부에 전달한다. 엔비디아의 AI 클러스터용 쿠버네티스 설정 레시피 공개 도 본지가 앞서 다뤘지만, Recovery의 쿠버네티스 지원은 Slinky를 통해 Slurm을 실행하는 방식에 한정된다.