90개 넘는 언어 지원…일레븐랩스, 문자별 정렬 모델 큐 소개

본문

1시간 분량을 약 0.5초에 처리한다는 속도는 회사 자체 측정이다. 일레븐랩스(ElevenLabs)가 28일 기존 대본과 녹음을 문자 단위로 맞추는 음성 정렬 모델 큐(Cue)를 소개했다. 일레븐랩스는 공식 발표에서 큐가 90개 넘는 언어를 지원한다고 밝혔다. 이 모델은 음성인식 모델 스크라이브(Scribe)의 전사 요청에 적용되며, 별도 강제 정렬 API로도 제공된다. API는 문자별·단어별 시작·종료 시각과 정렬 손실값을 반환한다. API 문서는 ‘loss’를 대본 전체의 평균 정렬 손실·신뢰도 점수로 설명한다. 별도로 공개된 비교 평가는 실사용 요청을 바탕으로 만든 녹음 자료 가운데 29개 언어를 대상으로 했다. 일레븐랩스 자체 평가에서 전체 녹음의 평균 타이밍 오차는 큐가 179밀리초였다. 비교한 오픈소스 도구들의 오차는 283밀리초에서 6000밀리초를 넘는 범위였다. 음성 처리에서 전사·시간 정렬·화자 구분은 서로 다른 기능이다.

구글 전사 모델의 한국어 지원과 화자 구분 범위를 다룬 본지 보도 에서는 제미나이 3.5 트랜스크라이브가 85개가 넘는 언어를 지원하고 최대 8명의 화자를 구분하지만, 3명 이상 식별은 실험 단계로 분류됐다고 전했다. 본 기사는 시장 데이터 및 차트 분석을 바탕으로 작성되었으며, 특정 종목에 대한 투자 권유가 아닙니다.