GPU 커널 추가 예산 실험서 1.21배…같은 예산선 0.75배

본문

UC버클리 연구진은 AI 코딩팀의 역할과 협업 방식을 바꿔 GPU 커널을 최적화했다. 추가 토큰 예산 실험에서 47개 작업의 기하평균 성능은 FlashInfer 기준 1.21배였고, 같은 예산 비교에서는 0.75배였다. UC버클리 연구진이 작업 중 AI 코딩팀의 역할과 협업 방식을 바꿔 GPU 커널을 최적화했다. 추가 토큰 예산 실험에서 47개 작업의 기하평균 성능은 FlashInfer 기준 1.21배였지만, 같은 예산 비교에서는 0.75배에 그쳤다. 연구진은 2026년 10월 27일 공개한 논문 《Evolving Agent Teams》에서 대형 언어 모델의 응답 생성에 쓰이는 MLA paged decode 커널을 시험했다. FlashInfer는 대형 언어 모델 추론에 쓰이는 GPU 커널 라이브러리로, 이번 실험에서는 새 커널의 비교 기준으로 사용됐다. 추가 토큰 예산 실험에서 새 커널은 47개 작업 중 36개에서 FlashInfer보다 빨랐다.

같은 토큰 예산을 적용한 비교에서 재구성한 팀은 FlashInfer 기준 0.75배를 기록했다. 이는 같은 예산 비교와 실행 조건이 다른 결과여서 하나의 실험 수치처럼 묶어 볼 수 없다. 논문은 준비 단계인 plan()을 제외하고 커널 실행 단계만 비교하면 새 커널의 성능이 FlashInfer 기준 0.96배라고 설명했다. FlashInfer는 실제 운용에서 plan() 결과를 캐시하고 입력 조건이 바뀔 때만 다시 계산하며, 1.21배는 이 운용 기준을 적용한 비교다. 추가 실험에서는 AMD($AMD) MI350X의 KDA prefill 커널이 vLLM 기준 3.01배, 엔비디아($NVDA) B200의 커널이 FlashKDA 기준 3.44배 성능을 냈다.