131억 매개변수 AI 모델 개발 과정과 초기 평가 공개
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 리만 컴퓨팅은 1억6300만 매개변수 모델을 단계적으로 확장해 131억 매개변수의 사전 공개 버전을 만들었다.
- 리만 컴퓨팅(Riemann Computing)이 매개변수 약 131억개인 언어모델 ‘My Name is Riemann’의 개발 과정과 초기 평가 결과를 공개했다.
- 이 모델은 1억6300만 매개변수 모델에서 출발해 단계적으로 확장한 사전 공개 버전이다.
본문
리만 컴퓨팅은 1억6300만 매개변수 모델을 단계적으로 확장해 131억 매개변수의 사전 공개 버전을 만들었다. 리만 컴퓨팅(Riemann Computing)이 매개변수 약 131억개인 언어모델 ‘My Name is Riemann’의 개발 과정과 초기 평가 결과를 공개했다. 이 모델은 1억6300만 매개변수 모델에서 출발해 단계적으로 확장한 사전 공개 버전이다. 리만 컴퓨팅은 4일(현지시간) 발표문에서 모델의 학습 방식과 장비, 초기 평가 결과를 설명했다. 개발진은 10월 28일 OpenPeer AI 조직을 통해 기술 문서를 공개했다. 개발의 출발점은 매개변수 1억6300만개인 OpenPeerLLM이다. 개발진은 공개된 기존 가중치를 활용해 여러 단계를 거쳐 모델 규모를 키웠으며, 처음부터 같은 크기의 모델을 새로 학습하지는 않았다. 모델의 매개변수 수와 학습에 사용한 토큰 수는 서로 다른 지표다.
초기에는 외장 GPU를 연결한 노트북을 썼고, 이후 AMD($AMD) Instinct MI325X GPU 8개를 탑재한 클라우드 장비로 옮겼다. 회사가 밝힌 마지막 개발 단계의 학습량은 약 21억6000만 토큰이다. 이 수치는 모델 규모인 매개변수 수와는 별도로, 해당 단계에서 학습에 사용한 토큰의 양을 나타낸다. OpenPeer AI는 연구자와 개발자가 이용할 수 있는 공개 AI 개발 프로젝트를 제공하는 조직으로 소개됐다.