마이크로소프트, 실시간 음성인식 모델 MAI-Transcribe-2-Streaming 공개

왜 지금 이 주제인가

마이크로소프트가 10월 1일 실시간 음성인식(STT) 모델 MAI-Transcribe-2-Streaming과 음성 합성(TTS) 모델 MAI-Voice-2.1, MAI-Voice-2.1-Flash를 함께 공개했습니다. 음성 비서나 콜센터 에이전트를 만들 때 체감 품질을 가장 많이 깎아 먹는 지점은 텍스트 생성 능력이 아니라 사람이 말을 마치고 응답을 듣기까지 걸리는 지연입니다. 이번 발표는 그 지연을 줄이는 데 집중한 모델을 한꺼번에 내놓았다는 점에서, 음성 에이전트 파이프라인 전체를 자사 생태계로 묶으려는 마이크로소프트의 다음 수를 보여줍니다.

핵심 내용

MAI-Transcribe-2-Streaming은 기존에 내놓은 배치 처리형 MAI-Transcribe-2의 실시간 버전입니다. 오디오를 받은 지 100밀리초가 조금 넘는 시점에 첫 중간 결과(partial)를 내놓고, 이후 문맥이 쌓이면 그 내용을 수정하다가 최종 전사본을 확정하는 구조입니다. 60개 언어를 자동으로 연속 감지하며 전사할 수 있고, 평가 플랫폼 Artificial Analysis에서 최종 전사본과 중간 결과 정확도 모두 1위를 기록했다고 밝혔습니다. 마크테크포스트가 확인한 수치로는 최종 전사본 기준 단어 오류율(WER) 2.5%, 지연 0.13초이며, 가장 가까운 경쟁 모델보다 단어가 화면에 약 2배 빠르게 나타납니다. 가격은 연말까지 도입가로 오디오 1시간당 0.54달러입니다.

함께 나온 MAI-Voice-2.1은 표현력과 음질에 무게를 둔 TTS 모델로 23개 언어, 26개 로캘을 지원하며 100만 문자당 22달러입니다. 경량판인 MAI-Voice-2.1-Flash는 같은 언어 범위를 지원하면서 추론 속도를 55% 높이고 가격은 약 60% 낮춘 100만 문자당 15달러로, 최대 45초 분량의 오디오를 약 150밀리초의 종단 간 지연으로 처리합니다. 세 모델 모두 가중치를 공개하지 않는 API 전용 모델이며, 마이크로소프트 파운드리(Foundry)와 MAI Playground, OpenRouter, Vercel을 통해 쓸 수 있고 LiveKit 연동도 예고됐습니다.

마이크로소프트는 이 조합을 음성 에이전트, 실시간 자막, 받아쓰기, 다국어 고객 지원처럼 지연이 체감 품질을 좌우하는 용도에 맞췄다고 설명했습니다. 중간 결과가 100밀리초 안에 나오기 때문에, 사용자가 말을 끝내기 전에 애플리케이션이 먼저 추론을 시작하거나 도구 호출을 준비할 수 있다는 점을 강조했습니다. 마크테크포스트가 확인한 수치로는 중간 결과 단계에서도 WER 2.5%, 지연 0.12초로 최종 전사본과 거의 같은 정확도를 유지한다고 밝혔는데, 이는 문장이 끝나기를 기다리지 않고도 결과를 믿고 바로 다음 처리 단계로 넘길 수 있다는 뜻입니다.

배치 처리형 MAI-Transcribe-2와 스트리밍판을 나눠 내놓은 이유도 여기에 있습니다. 통화 녹음을 사후에 정리하는 작업과, 실시간으로 사람 말을 받아 바로 응답해야 하는 음성 에이전트는 요구하는 지연 수준이 다르기 때문에 같은 모델 계열을 두 가지 추론 방식으로 나눠 제공하는 쪽을 택했습니다. API 전용으로만 제공되는 만큼, 기업은 모델 자체를 손볼 수는 없지만 파운드리와 플레이그라운드, OpenRouter 같은 여러 경로로 큰 수정 없이 바로 붙여 쓸 수 있다는 점을 장점으로 내세우고 있습니다.

의미와 한계

전사·합성·추론을 잇는 음성 에이전트 파이프라인에서 입구와 출구에 해당하는 STT와 TTS를 자사 모델로 채웠다는 점에서, 마이크로소프트는 음성 에이전트 스택을 통째로 자기 생태계 안에 두려는 그림을 완성해 가고 있습니다. 다만 이번 발표는 Artificial Analysis라는 단일 외부 평가 플랫폼의 순위에 의존하고 있고, 어떤 경쟁 모델과 비교했는지 구체적인 이름은 공개하지 않았습니다. 가중치도 공개하지 않아 독립적인 재현이나 검증은 당분간 불가능합니다. 또한 소개된 수치는 마이크로소프트가 선택한 벤치마크 조건에서 나온 것으로, 잡음이 많은 실제 통화 환경이나 전문 용어가 섞인 대화에서 같은 성능이 유지될지는 별도로 확인이 필요합니다.

한 줄 정리

마이크로소프트가 음성이 끝나기 전에 자막을 내놓는 실시간 전사 모델과 음성 합성 모델 두 종을 함께 내놓으며 음성 에이전트 파이프라인을 자사 생태계로 묶고 있습니다.