Jev는 주요 AI 모델에 대한 더 빠르고 저렴한 대안으로 인기를 얻습니다.

본문

TypeSafe AI의 Jev 모델은 백만 토큰당 0.042달러로 밀리초 단위로 의사 결정을 처리하며 OpenAI 모델보다 최대 18배 빠른 것으로 입증되었습니다. TypeSafe AI의 새로운 모델은 훨씬 적은 비용으로 밀리초 단위로 의사 결정을 처리하며 개발자는 이미 서버를 압도하고 있습니다. 대부분의 AI 회사는 더 크고 스마트한 언어 모델을 구축하기 위해 경쟁하고 있습니다. TypeSafe AI는 더 빠르고 멍청한 것을 만들기로 결정했습니다. 스타트업의 새로운 AI 모델인 Jev는 9월 15일 출시되자마자 개발자의 관심을 너무 많이 끌어 자체 API를 오버로드했습니다. 대신 이메일 분류, 지원 티켓 라우팅, 트랜잭션 플래그 지정과 같은 구조화된 결정을 기존의 대규모 언어 모델을 외과 의사를 고용하여 반창고를 붙이는 것처럼 보이게 만드는 속도와 가격으로 내립니다.

Jev는 70~500밀리초 내에 요청을 처리하며 평균 응답 시간은 약 0.44~0.48초입니다. Vercel에서 실시한 벤치마크에서 Jev는 특정 분류 작업에서 특정 OpenAI 모델보다 5~18배 빠른 것으로 나타났습니다. 이메일 분류의 경우 구글의 Gemini 모델보다 10~20배 저렴하게 나왔습니다. TypeSafe AI는 이를 행동 심리학의 용어를 빌려 “System One 모델”이라고 설명합니다. 워크플로에 의사 결정 트리를 통해 수백만 개의 입력을 라우팅하는 경우 Jev는 컴퓨팅 예산을 소모하지 않고 이를 대규모로 처리하도록 설계되었습니다. Jev는 비공개 소스이므로 이미 개발자 커뮤니티에서 유사한 틈새 시장을 채우기 위해 개방형 "Jev 유형" 어댑터가 등장할 수 있는지에 대한 논의가 촉발되었습니다. 일부 초기 테스트에서는 Jev가 원시 정확도에서 항상 뛰어난 성능을 발휘하는 것은 아니라는 사실이 나타났습니다.

이는 생산 팀이 특정 사용 사례에 대해 속도-비용-정확도 균형을 평가해야 함을 의미합니다. Jev는 주요 AI 모델에 대한 더 빠르고 저렴한 대안으로 인기를 얻었으며 Crypto Briefing에 처음 등장했습니다.