Aleph Alpha, 유럽에서 제작된 78B 매개변수 개방형 AI 모델인 Kolibri 출시

본문

Aleph Alpha는 규제 부문을 위해 유럽에서 훈련된 1M 토큰 컨텍스트 창을 갖춘 78.1B 매개변수 개방형 MoE 모델인 Kolibri를 출시했습니다. 하이델베르그 회사의 Mixture-of-Experts 모델은 100만 개의 토큰 컨텍스트 창을 지원하고 영어와 독일어의 규제 부문을 대상으로 합니다. Aleph Alpha는 공개 가중치와 최대 1,048,576개 토큰의 컨텍스트 창을 갖춘 781억 매개변수 AI 모델인 Kolibri를 출시했습니다. 하이델베르그에 본사를 둔 이 회사는 이를 유럽에 구축하고 독일 콘텐츠에 중점을 두고 교육한 후 공공 행정, 산업, 항공우주, 국방 등 규정 준수가 가장 중요한 부문에서 홍보했습니다. Kolibri에는 총 781억 개의 매개변수가 있지만 토큰당 활성 매개변수는 약 34억 6천만 개에 불과합니다.

Kolibri는 일반적으로 1백만 개로 반올림되는 최대 1,048,576개의 토큰에서 작동하도록 설계되었습니다. 훈련 실행에는 20조~24조 개의 토큰이 포함되었으며, 특히 독일 콘텐츠가 중요했습니다. Aleph Alpha는 768개의 NVIDIA B200 GPU를 사용하여 독일과 핀란드에 위치한 인프라에서 Kolibri를 교육했습니다. Kolibri에는 FP8 형식으로 약 78GB의 저장 공간이 필요합니다. Aleph Alpha는 또한 Kolibri의 아키텍처, 훈련 방법 및 평가 결과를 다루는 189페이지 분량의 기술 보고서를 발표했습니다. Aleph Alpha의 자체 보고에 따르면 성능 면에서 Kolibri는 수학 경쟁 벤치마크인 AIME 2025에서 96.9%를 기록했습니다. Kolibri의 출시는 유럽의 AI 혁신을 강화하여 규정 준수를 강조하고 잠재적으로 국방 및 공공 행정과 같은 부문을 재구성할 수 있습니다.

Aleph Alpha가 유럽에서 제작한 78B 매개변수 개방형 AI 모델인 Kolibri를 출시한 포스트가 Crypto Briefing에 처음 등장했습니다.