알리바바 QwenGyre, 2.4T 모델 RL 학습 44% 단축

본문

알리바바 연구진이 강화학습 프레임워크 QwenGyre로 Qwen3.8 2.4T 모델의 48단계 학습 시간을 134.55시간에서 75.42시간으로 줄였다고 밝혔다. 알리바바 연구진이 강화학습 프레임워크 QwenGyre를 적용해 Qwen3.8 2.4T 모델의 48단계 학습 시간을 기존 비동기 방식보다 약 44% 줄였다고 밝혔다. 같은 GPU 예산을 사용한 실험에서 소요 시간은 134.55시간에서 75.42시간으로 단축됐다. 에이전트가 작업을 수행하는 ‘롤아웃’과 모델 학습에 쓰이는 GPU를 작업 진행 상황에 따라 재배치한다. 작업을 먼저 끝낸 에이전트에 배정됐던 GPU는 모델 학습에 투입하고, 아직 작업 중인 에이전트에는 나머지 GPU를 계속 할당한다. 비동기식 학습은 작업 수행과 모델 학습을 분리하지만, 두 작업에 GPU를 고정 배분하는 방식이라 남는 자원을 유연하게 옮기기 어렵다고 연구진은 지적했다.

에이전트가 재시도하거나 기록을 압축하고 하위 에이전트를 호출하면 실행 경로가 여러 갈래로 나뉘지만, 서로 다른 경로가 같은 모델 출력을 공유할 수 있다. 학습 과정에서는 제한된 경로를 선택해 같은 모델 출력을 반복 계산하지 않도록 했다. 논문에 따르면 Qwen3.8 2.4T 모델은 작업당 약 70만 토큰을 처리했다. 같은 GPU 예산으로 진행한 48단계 강화학습에서 QwenGyre는 75.42시간, 기존 비동기 방식은 134.55시간이 걸렸다. 코드 저장소 생성 능력을 평가하는 NL2RepoBench 통과율은 학습 전 52.48%에서 학습 후 58.54%로 높아졌다. 알리바바 연구진은 GPU 재배치와 실행 경로 중복 제거를 적용한 실험에서 학습 시간과 벤치마크 통과율을 제시했다.