오픈라우터, 배치 API 출시…토큰 가격 대부분 절반
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 70개가 넘는 모델을 지원하며 결과는 최대 24시간 안에 반환된다.
- 오픈라우터가 실시간 응답이 필요하지 않은 인공지능 작업을 묶어 처리하는 배치 API를 출시했다.
- 대부분 모델의 입력·출력 토큰 가격을 절반 수준으로 낮추고, 결과는 최대 24시간 안에 반환한다.
본문
70개가 넘는 모델을 지원하며 결과는 최대 24시간 안에 반환된다. 오픈라우터가 실시간 응답이 필요하지 않은 인공지능 작업을 묶어 처리하는 배치 API를 출시했다. 대부분 모델의 입력·출력 토큰 가격을 절반 수준으로 낮추고, 결과는 최대 24시간 안에 반환한다. 오픈라우터는 22일 공식 블로그에서 배치 API를 공개했다고 밝혔다. 현재 70개가 넘는 모델을 지원하며, 사용자는 여러 요청을 한 번에 제출한 뒤 처리가 끝나면 결과를 받을 수 있다. 배치 API는 즉시 결과를 받아야 하는 대화형 요청보다 대량 처리에 맞춰 설계됐다. 지원 요청 유형에는 채팅 완성, 응답형 API, 메시지, API 기반 임베딩 요청이 포함된다. 2주간 진행한 베타 기간에 완료된 배치 작업은 23만 건을 넘었고, 완료 시간의 중앙값은 7분이었다. 1000건 이상 요청이 포함된 배치는 12~21분이 걸렸고, 느린 작업은 제출 시간대에 따라 완료까지 수 시간이 소요되기도 했다.
배치 API는 여러 인공지능 모델을 단일 인터페이스로 이용하면서 대량 작업의 비용과 처리 시간을 조정하려는 기능이다. 오픈라우터의 토큰 사용량과 평균 가격 변화 가 앞서 주목받은 가운데, 이번 기능은 사용량이 큰 비동기 작업의 단가를 낮추는 데 초점을 맞췄다. 다만 ‘대부분 모델’에 적용되는 할인율과 실제 결제 금액은 모델별 단가와 요청 유형에 따라 달라진다.