엔비디아, RL 가중치 재반영 지연시간 최대 5.7배 단축
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 엔비디아가 강화학습용 Reshard collective와 오픈소스 참조 구현을 공개했다.
- 자체 시험에서 가중치 재반영 시간은 기존 방식보다 2.7~5.7배 짧았지만, 전체 RL 학습시간이 같은 비율로 줄었다는 뜻은 아니다.
- 엔비디아 (NVIDIA·$NVDA)가 강화학습(RL)에서 훈련 GPU 의 가중치를 추론 GPU에 반영하는 지연시간을 최대 5.7배 줄이는 Reshard collective를 공개했다.
본문
엔비디아가 강화학습용 Reshard collective와 오픈소스 참조 구현을 공개했다. 자체 시험에서 가중치 재반영 시간은 기존 방식보다 2.7~5.7배 짧았지만, 전체 RL 학습시간이 같은 비율로 줄었다는 뜻은 아니다. 엔비디아 (NVIDIA·$NVDA)가 강화학습(RL)에서 훈련 GPU 의 가중치를 추론 GPU에 반영하는 지연시간을 최대 5.7배 줄이는 Reshard collective를 공개했다. 자체 NeMo RL 시험에서 가중치 재반영(refit) 시간은 기존 방식보다 2.7~5.7배 짧았다. 엔비디아는 11월 6일 기술 블로그에서 새 연산과 오픈소스 참조 구현인 NCCL M2N Reshard를 소개했다. NeMo RL 시험에서 DGX H100의 큐원3(Qwen 3) 235B 모델은 재반영 시간이 6.4초에서 1.9초로 줄었다.
개선 폭은 가중치 재반영 지연시간에 한정되며, 전체 RL 학습시간이나 처리량이 같은 비율로 개선됐다는 의미는 아니다.
별도 재반영 전용 마이크로벤치마크에서는 BF16 형식의 큐원3.8(Qwen3.8) 2.4T 모델이 4.3초를 기록했다. NeMo RL은 이 부분에 Reshard를 적용하고, QKV 투영과 Mamba 가중치 등 나머지 항목에는 기존 경로를 사용한다. NeMo RL은 7월 22일에도 비공유 GPU 사이의 가중치 재반영 최적화를 논의했다. 엔비디아는 11월 6일 게시한 기술 블로그에서 NeMo RL이 장애 복구 시 통신 그룹을 폐기한 뒤 다시 만드는 방식을 사용한다고 설명했다. 한 사용자는 공개 이슈 #23에서 NCCL 2.30.7과 nccl-extensions 0.1.0 환경에서 상대 프로세스가 중단된 뒤 comm.abort() 가 반환되지 않는 사례를 보고했다.