Meta lança Muse Voice Transcribe, modelo único para transcrição de voz em tempo real

O fim dos três sistemas colados

A maioria das pilhas de voz em produção hoje é, na prática, três sistemas costurados: um modelo transcreve, outro separa quem está falando e um terceiro decide quando a pessoa parou de falar. Cada passagem de bastão entre eles adiciona latência e cria um novo ponto de falha.

O Muse Voice Transcribe, anunciado esta semana pela Meta Superintelligence Labs, promete colapsar essas três funções em um único modelo autoregressivo. É o que a Meta chama de seu primeiro modelo de percepção de áudio em tempo real: faz ASR em streaming, diarização para mais de 20 falantes e endpointing em uma única passagem, sem pós-processamento obrigatório.

Como funciona

O modelo recebe áudio em blocos de 80 milissegundos a 12,5 Hz. Cada bloco é transformado em um único token “soft”. Após cada bloco, o modelo toma uma decisão binária: ou prevê um token <|next_audio|> e continua ouvindo, ou emite um token de texto. Quando o stream termina, um token <|empty_audio|> é inserido e o modelo descarrega o texto restante sem pedir mais áudio.

Ouvir e escrever compartilham o mesmo loop de decodificação — não há uma etapa de alinhamento separada que possa “derivar” com o tempo.

Delay adaptativo treinado com aprendizado por reforço

Como o modelo controla quando escuta, ele também controla quanto contexto de áudio fica atrás de cada palavra — o que a Meta chama de “delay”. Delay maior significa transcrição mais precisa, mas também mais latência. Em vez de fixar esse compromisso, a Meta o treina: o aprendizado por reforço combina uma recompensa de taxa de erro de palavras (WER) com uma recompensa de delay, produzindo uma política que varia o delay por palavra conforme a dificuldade. A Meta afirma que isso coloca o modelo na fronteira de Pareto de velocidade contra precisão.

Diarização e endpointing viram tokens

Não há um segundo modelo para atribuição de falantes. A Meta adicionou tokens especiais ao mesmo stream: um token <|start_of_turn|> marca uma possível troca de falante, e uma tag <|speaker_{A-Z}|> identifica quem fala. Para o endpointing, <|speech_onset|> marca o início da fala e <|speech_endpoint|>, o ponto em que a pessoa terminou. As duas tarefas são treinadas em conjunto com o ASR em streaming.

Números e preço

O modelo foi treinado em mais de 70 idiomas, dos quais 25 são extensivamente verificados e recomendados no lançamento. O code-switching (misturar idiomas na mesma frase) é nativo, algo relevante para falantes bilíngues. O manuseio de contexto longo é outro diferencial: a Meta afirma que o modelo suporta áudio de mais de uma hora e mais de 20 falantes sem pós-processamento.

Nos benchmarks, a Meta reporta o primeiro lugar no Artificial Analysis para speech-to-text em streaming. O Muse Voice Transcribe registra 3,1% de WER no transcrito final a 0,16 segundo após o fim da fala — à frente do Cartesia Ink-2 (3,4% a 0,43s) e do ElevenLabs Scribe v2 Realtime (3,6% a 0,14s).

No preço, custa US$ 3,00 por 1.000 minutos de áudio (US$ 0,18 por hora), abaixo do Cartesia Ink-2 (US$ 4,00) e menos da metade do ElevenLabs Scribe v2 Realtime (US$ 6,50).

Limitações

O modelo está disponível apenas como API hospedada — já ativo na Meta Model API como muse-voice-transcribe-1.0 e alimentando o ditado do Meta AI para Mac e o Muse Code. Nenhum peso foi liberado, então não há caminho para self-hosting por enquanto.