미스트랄 미니 2위 기록…스몰 모델은 화자 구분 평가 4위
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 영어 대화 139건을 평가한 결과 미니 모델은 화자 분리 오류율 40.4%로 2위, 스몰 모델은 41.1%로 4위를 기록했다.
- 미스트랄(Mistral AI)의 음성 전사 모델 ‘Voxtral Mini Transcribe 3’가 화자 구분 평가에서 9개 모델 중 2위를 기록했다.
- 보이스 아레나(Voice Arena)는 22일 두 모델의 평가 결과를 공개했다.
본문
영어 대화 139건을 평가한 결과 미니 모델은 화자 분리 오류율 40.4%로 2위, 스몰 모델은 41.1%로 4위를 기록했다. 미스트랄(Mistral AI)의 음성 전사 모델 ‘Voxtral Mini Transcribe 3’가 화자 구분 평가에서 9개 모델 중 2위를 기록했다. 보이스 아레나(Voice Arena)는 22일 두 모델의 평가 결과를 공개했다. 사람이 확인한 영어 대화 139건을 대상으로 화자 분리 오류율(DER)을 측정했다. 대본을 읽는 방식이 아니라 실제 대화 녹음으로 모델의 화자 구분 성능을 비교했다. 대면 대화에서는 미니 모델이 40.6%, 스몰 모델이 41.5%를 기록했고, 온라인 통화에서는 스몰 모델이 39.1%로 미니 모델의 39.5%보다 낮았다. 미니 모델의 전체 화자 분리 오류 가운데 82%는 발화 누락에서 발생했다.
AA-AgentTalk가 50%, VoxPopuli-Cleaned-AA와 Earnings22-Cleaned-AA가 각각 25%를 차지하며, 평가 오디오는 약 8시간이다.
Artificial Analysis의 평가에서 미니 모델의 AA-WER는 2.2%로 5위, 스몰 모델은 2.1%로 3위였다. 미스트랄은 20일 Voxtral 3 제품군을 공개했으며, 미니 모델은 매개변수 40억개로 배치 전사를 지원한다. 미스트랄의 제품 발표에 제시된 배치 전사 API 요금은 미니 모델이 분당 0.0035달러(약 4.64원), 스몰 모델이 분당 0.004달러(약 5.31원)다. 다만 보이스 아레나의 이번 화자 구분 평가는 영어 대화만 대상으로 했으므로, 이 순위로 한국어 화자 구분 성능을 판단할 수는 없다.