엔비디아, 한국어 포함 40개 언어 음성 전사 모델 공개

본문

네모트론 3.5 트랜스크라이브는 녹음 음성을 전사·번역하고 최대 8명의 발화를 구분한다. 엔비디아 (NVIDIA·$NVDA)가 한국어를 포함한 40개 언어의 녹음 음성을 전사하는 공개 가중치 모델 네모트론 3.5 트랜스크라이브(Nemotron 3.5 Transcribe)를 공개했다. 엔비디아는 28일 공식 발표에서 녹음 음성과 텍스트 지시를 함께 입력하는 방식이라고 밝혔다. 개발자는 전사 형식이나 제품명·전문 용어를 지시에 담아 결과에 반영할 수 있다. 전사는 40개 언어, 영어와 다른 언어 사이의 번역은 31개 언어, 화자별 발언 표시는 13개 언어를 지원한다. 모델 카드에 기재된 공개 평가셋 FLEURS의 한국어 문자 오류율(CER)은 2.78%다. 회의나 인터뷰 등 모든 한국어 녹음에서 같은 정확도가 나온다는 뜻은 아니다. 트랜스크라이브의 전체 매개변수는 340억 개이며 입력 처리 때 활성화되는 매개변수는 약 43억 개다.

언어 모델 기반에는 네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)이 쓰였고, 음성 인식과 화자 구분용 구성 요소가 결합됐다. 함께 공개된 다국어 음성 데이터셋 그래너리 v2(Granary v2)의 공개 목록에는 48개 언어, 16개 원천 코퍼스, 46만3062시간 분량이 기재됐다. 이 시간 규모는 그래너리 v2의 공개 목록에 적힌 수치로, 새 모델이 학습에 사용한 전체 음성 시간과 같은 지표는 아니다. 모델 카드에는 긴 녹음, 겹쳐 말하기, 잡음, 고유명사와 언어 혼용 환경에서 별도 점검이 필요하다고 적혀 있다.