학습 연산량 42.0% 줄인 세일즈포스($CRM) 수학·코드 실험
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 네 분야로 확장한 실험에서도 공동 GRPO 대비 총 FLOPs가 31.6% 적었다.
- [arXiv 프리프린트]( 실제 비용이나 전력 절감률을 측정한 결과를 제시하지 않았다.
- 세일즈포스(Salesforce, $CRM) AI 연구진이 수학·코드 전문가 모델을 따로 훈련해 하나로 통합한 실험에서, 두 분야를 함께 강화학습한 방식과 비슷한 성능을 총 학습 연산량 42.0% 적게 들여 얻었다.
본문
네 분야로 확장한 실험에서도 공동 GRPO 대비 총 FLOPs가 31.6% 적었다. [arXiv 프리프린트]( 실제 비용이나 전력 절감률을 측정한 결과를 제시하지 않았다. 세일즈포스(Salesforce, $CRM) AI 연구진이 수학·코드 전문가 모델을 따로 훈련해 하나로 통합한 실험에서, 두 분야를 함께 강화학습한 방식과 비슷한 성능을 총 학습 연산량 42.0% 적게 들여 얻었다. 연구진은 6일(한국시간) arXiv에 공개한 프리프린트 ‘Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO’에서 결과를 제시했다. 논문은 평가 데이터의 정확도를 누적 학습 FLOPs와 대조했다. 연구진은 수학과 코드 전문가 모델을 각각 훈련한 뒤, 다중 교사 온폴리시 증류(OPD)를 거쳐 학생 모델 하나에 능력을 통합했다.
OPD(On-Policy Distillation)는 학생 모델이 직접 생성한 답변에 교사 모델이 토큰별 학습 신호를 주는 증류 방식이다.
이 실험에서는 수학·코드 전문가가 학생 모델의 교사 역할을 했다. 네 분야 전문가 모델을 훈련하는 데 14.4 EFLOPs가 들었고, 학생 모델로 통합하는 데 1.15 EFLOPs가 추가됐다. 이 설정에서 통합 모델은 공동 GRPO의 instance-mix 기준과 비슷한 성능을 내면서 총 FLOPs를 31.6% 줄였다. 단일 분야 실험에서는 학생 모델 자신의 GRPO 체크포인트를 교사로 썼을 때, 수학 성능을 회복하는 증류 단계의 연산량이 GRPO 학습보다 최대 50배 적었다. 연구가 제시한 것은 학습 FLOPs 비교이며, 실제 클라우드 비용이나 전력 사용량이 같은 비율로 줄었다는 측정 결과는 아니다.