입력 100만 토큰당 13원…베이스텐, 의사결정 AI 모델 공개

본문

베이스텐이 선택지와 답변 확률을 반환하는 의사결정 AI 모델 joey-1을 공개했다. 베이스텐(Baseten)이 29일 20억 파라미터 의사결정 인공지능(AI) 모델 joey-1을 공개했다. API 입력 요금은 100만 토큰당 0.01달러(약 13원)다. 베이스텐 모델 페이지에는 캐시된 입력 토큰과 출력 토큰의 표시 가격이 각각 0달러로 나와 있다. 0.01달러는 모든 토큰에 적용되는 단가가 아니라 입력 토큰 요금이다. 총 50억 입력 토큰을 처리할 때 joey-1 비용은 월 50달러(약 6만7000원), 같은 제품군의 mammoth-1은 500달러(약 67만원)라는 계산이다. 90억 파라미터 모델 elephant-1의 49밀리초보다 약 2.5배 빠르다는 설명이다. 허깅페이스(Hugging Face)에 공개된 joey-1 모델 카드에는 Jev Decision Index 0.4 공개 분할 점수가 63.30으로 기재됐다.

230개 모델 가운데 37위이며, 40억 파라미터 미만 모델 중 가장 높은 점수라는 게 카드의 설명이다. 베이스텐은 자체 시험에서 joey-1이 30억 파라미터 이하 의사결정 모델 중 가장 강하다고 주장했지만, 발표 당시 세부 시험 결과는 공개하지 않았다. 베이스텐의 제품 설명과 모델 카드는 joey-1을 20억 파라미터 모델로 소개하지만, 허깅페이스 저장소 파일 메타데이터에는 30억 파라미터로 표시돼 있다. joey-1의 가격은 특정 모델의 입력 단가로, AI 서비스 전체 비용이나 업계 수요를 나타내는 수치는 아니다.