Stanford와 Nvidia의 CLM-8B 모델은 Jev보다 최대 9배 빠르게 실행됩니다.

본문

Stanford와 Nvidia의 오픈 소스 CLM-8B 모델은 Jev의 성능과 일치하며 단일 GPU에서 실행되는 에이전트 결정 대기 시간을 16.5ms로 줄입니다. 새로운 오픈 소스 '대조적 언어 모델'은 에이전트 작업을 캐시하여 의사 결정 대기 시간을 150밀리초에서 17초 미만으로 줄이고 단일 GPU에 적합합니다. 9월 23일에 발표된 CLM-8B는 공개적으로 사용 가능한 최초의 대조 언어 모델로, 이 문서가 게재되기 전까지는 존재하지 않았던 범주입니다. 이 모델은 여러 벤치마크에서 TypeSafe AI의 독점 Jev 모델 성능과 일치하는 동시에 대기 시간을 대폭 단축합니다. T-Rex 게임 벤치마크에서 CLM-8B는 결정당 16.5밀리초를 기록했고 Jev는 149.8ms를 기록했습니다. 처음부터 응답을 생성하는 대신 대조 학습을 사용하여 상태와 작업이 나란히 있는 공유 임베딩 공간을 구축합니다.

모델이 다음에 수행할 작업을 결정해야 할 때 해당 임베딩 공간의 현재 상태와 얼마나 밀접하게 일치하는지에 따라 후보 작업의 점수를 매깁니다. 핵심 혁신은 입력을 대비 공간에 매핑하는 방법을 학습하는 각각 약 2천만 개의 매개변수로 구성된 훈련 가능한 작은 모듈인 프로젝션 헤드에 있습니다. 사전 훈련에서는 기본 이해를 확립하기 위해 6천만 개의 질문-답변 쌍을 사용했습니다. 소프트웨어 엔지니어링 기능을 테스트하는 코딩 벤치마크인 DeepSWE에서 CLM-8B는 81.6%를 기록했습니다. 코딩 외에도 이 모델은 컴퓨터 사용, Super Mario 및 WikiRacing과 같은 게임 환경을 포괄하는 작업에서 Jev에 필적하는 제로샷 성능을 보여주었습니다. CLM-8B 모델의 효율성은 실시간 AI 애플리케이션을 혁신하여 비용을 절감하고 다양한 영역에서 성능을 향상시킬 수 있습니다.

스탠포드 포스트와 Nvidia의 CLM-8B 모델은 Jev가 Crypto Briefing에 처음 등장한 것보다 최대 9배 더 빠르게 실행됩니다.