100만 토큰 후속 학습…라일라 사이언스·애니스케일, B200 64개 활용

본문

라일라 사이언스와 애니스케일은 엔비디아(NVIDIA·$NVDA)의 B200 GPU 64개로 GLM-5.3-Flash를 시퀀스당 100만 토큰까지 후속 학습했다. 유전체 손실 4.8% 개선은 51만2000토큰 조건의 별도 시험에서 나왔다. 라일라 사이언스(Lila Sciences)와 애니스케일(Anyscale)은 엔비디아(NVIDIA·$NVDA) B200 GPU 64개를 이용해 GLM-5.3-Flash를 시퀀스당 100만 토큰까지 후속 학습했다. 유전체 손실 4.8% 개선은 100만 토큰이 아닌 51만2000토큰 조건의 별도 시험에서 나왔다. 연구팀은 작업을 시작할 당시 학습 스택이 처리할 수 있던 길이보다 64배 긴 시퀀스를 지원했다고 밝혔다. GLM-5.3-Flash의 설정 파일에는 최대 위치 수 104만8576이 이미 기재돼 있어, 이번 발표는 새 100만 토큰 컨텍스트 모델의 출시가 아니다.

무작위 토큰과 무작위 초기 가중치로 진행한 시험에서 64개 B200 GPU 기준 처리량은 100만 토큰 시퀀스에서 초당 1만3700토큰이었다. 같은 무작위 데이터 시험에서 100만 토큰 실행의 GPU당 최대 메모리 사용량은 144.5GiB였다. 실제 유전체 시험에는 사람 참조 유전체 hg38의 염색체 1·2를 학습 데이터로, 학습에 사용하지 않은 22번 염색체를 평가 데이터로 썼다. 시퀀스 길이는 51만2000토큰이었고 후속 학습은 80단계 진행됐다. GPU당 메모리는 51만2000토큰 시퀀스에서 122GiB, 100만 토큰 시퀀스에서 109GiB로 집계됐다. 책 데이터 100만 토큰 시험에는 시퀀스를 여러 GPU에 나누는 컨텍스트 병렬화 CP=4가 적용됐다.