파이토치 2.15, GPU 통신 새 백엔드 기본 적용
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 파이토치 2.15는 새 NCCL 백엔드를 분산 학습의 기본 경로로 삼고, 집합 통신이 멈추거나 시간 초과될 때 진단 상태를 기록하는 기능을 제공한다.
- 장애 뒤 빠른 재구성에는 별도 NCCL·RCCL 버전 요건이 있다.
- 파이토치 2.15가 10월 28일 공개되면서 분산 학습의 기본 NCCL 통신 백엔드가 재작성 버전으로 바뀌었다.
본문
파이토치 2.15는 새 NCCL 백엔드를 분산 학습의 기본 경로로 삼고, 집합 통신이 멈추거나 시간 초과될 때 진단 상태를 기록하는 기능을 제공한다. 장애 뒤 빠른 재구성에는 별도 NCCL·RCCL 버전 요건이 있다. 파이토치 2.15가 10월 28일 공개되면서 분산 학습의 기본 NCCL 통신 백엔드가 재작성 버전으로 바뀌었다. 통신 연산이 멈추거나 시간 초과가 발생하면 진단 상태를 기록하는 ‘비행기록장치’ 기능도 제공한다. 이번 버전은 재작성한 NCCL 백엔드를 모든 nccl 프로세스 그룹의 기본값으로 삼았다고 크립토브리핑(Crypto Briefing)은 전했다. 인공지능 모델을 여러 GPU 에서 학습할 때 각 장치는 작업을 나눠 맡고, 결과를 맞추기 위해 데이터를 주고받는다. 엔비디아($NVDA)의 집단 통신 라이브러리 NCCL은 GPU 사이의 데이터 교환을 담당한다.
여러 장치가 모두 참여해야 하는 통신 연산은 ‘집합 통신(collective)’이라고 부른다.
기록 기능은 특정 통신 라이브러리에 한정되지 않는 백엔드 독립형이다. 2.15에서는 새 NCCL 백엔드가 기본 경로로 전환됐고, 집합 통신 장애 진단용 비행기록장치도 제공된다. 따라서 파이토치 2.15를 설치하는 것만으로 멈춘 학습 작업이 자동 재개되는 것은 아니다. 이번 2.15 변경은 연산 최적화가 아니라 여러 GPU 사이의 통신 장애 진단과 재구성 경로에 초점을 맞췄다.