NVIDIA Magpie TTS ganha português brasileiro e latência de 32ms na B200

Por que TTS multilíngue com pesos abertos importa agora

A NVIDIA acaba de lançar uma atualização significativa do Magpie TTS Multilingual, seu modelo de texto para fala com pesos abertos. A novidade inclui três novos idiomas — árabe moderno padrão, coreano e português brasileiro — além de melhorias de qualidade em francês e espanhol, e suporte expandido a code-switching para hindi e japonês.

O modelo tem 364 milhões de parâmetros e já suporta 12 idiomas: inglês, espanhol, francês, alemão, italiano, vietnamita, mandarim, hindi, japonês, além dos três novos. Cada idioma inclui vozes masculinas e femininas através de uma representação compartilhada de falante multilíngue.

Latência que o usuário realmente percebe

Em IA conversacional, o TTS é o último estágio antes de o usuário ouvir a resposta. O Time to First Audio (TTFA) — o tempo entre o início da geração de fala e o primeiro áudio chegando ao usuário — é uma das métricas de latência mais importantes em um pipeline de voz.

Como o Magpie roda na sua própria infraestrutura, a latência que você mede é a latência real que você controla, sem round-trip de serviço gerenciado. Os números impressionam:

Com 32 ms de TTFA na B200, o Magpie deixa o resto do orçamento de latência para ASR e processamento LLM — mantendo a latência total ponta a ponta dentro da janela sub-200ms que a conversa natural exige.

Otimizações arquiteturais

A baixa latência não é acidental. O Magpie introduz duas melhorias complementares:

Frame stacking: o decodificador prevê dois frames de áudio por passo em vez de um, cortando o número de iterações do decodificador pela metade e melhorando o throughput.

Transformer local: o frame stacking sozinho reduziria a qualidade ao introduzir dependências entre tokens de codebook gerados simultaneamente. O transformer local modela essas dependências e refina o áudio gerado, recuperando a qualidade.

Juntas, essas técnicas entregam geração mais rápida e síntese de fala natural. A arquitetura é descrita no paper “Frame-Stacked Local Transformers for Efficient Multi-Codebook Speech Generation” (ICASSP 2026).

Melhorias de qualidade

Esta versão também melhora a qualidade de síntese em vários idiomas existentes, com os ganhos mais expressivos em francês e espanhol:

Os novos idiomas estabelecem qualidade baseline: árabe (1,62% CER), coreano (2,69%) e português brasileiro (2,91%).

Por que pesos abertos fazem diferença

Em vez de manter modelos TTS separados para diferentes regiões, desenvolvedores podem construir aplicações multilíngues sobre uma única fundação aberta. O modelo está disponível no Hugging Face para pesquisa e fine-tuning, e como NVIDIA NIM para serving em produção com as latências mostradas acima.

O Magpie se encaixa em uma arquitetura de voz em cascata — com componentes ASR, TTS e LLM rodando juntos, cada camada independentemente ajustável e implantável em infraestrutura própria. Para equipes que precisam de residência de dados, customização de pronúncia, previsibilidade de latência e escala em hardware próprio, um modelo aberto como o Magpie muda o que é possível.