NVIDIA lança NemotronLabs VoiceChat 11B: modelo open-source de voz full-duplex com 448 ms de latência

O fim da era ASR → LLM → TTS

A NVIDIA acaba de lançar o NemotronLabs VoiceChat 11B, um modelo de voz de 11 bilhões de parâmetros que processa fala-para-fala em uma única rede neural unificada — sem encadear reconhecimento de fala (ASR), modelo de linguagem (LLM) e síntese de voz (TTS) separadamente. O resultado é uma latência de 448 milissegundos para troca de turnos em conversas naturais, medida no benchmark Full-Duplex-Bench 1.0.

O modelo é full-duplex: ele escuta enquanto fala. Isso significa que o usuário pode interromper o agente no meio de uma resposta (barge-in), e o modelo cede a palavra com uma taxa de tomada de controle de 1.00 a 480 ms. É o primeiro modelo full-duplex aberto a suportar chamadas de ferramentas (tool calling) durante a conversa, usando um canal de saída separado dedicado a scripts <TOOLCALL>.

Por que isso importa agora

Agentes de voz até hoje dependiam de uma arquitetura em cascata: o áudio do usuário era transcrito por um ASR, o texto era processado por um LLM, e a resposta era convertida de volta em áudio por um TTS. Essa cadeia introduz latência, perde nuances da entonação original e complica a orquestração de múltiplos modelos. O VoiceChat 11B resolve os três problemas em um único modelo.

Para o mercado brasileiro, isso tem implicações diretas: centrais de atendimento, assistentes automotivos, pedidos em drive-thru, modernização de URAs de telefonia e ferramentas de acessibilidade — todas essas aplicações podem se beneficiar de um modelo que responde em tempo real, com interrupção natural e capacidade de consultar APIs externas durante a conversa.

Arquitetura híbrida Mamba/Transformer

O modelo é montado a partir de três componentes NVIDIA existentes, mais um novo canal de saída para ferramentas:

• Encoder Fast Conformer do Nemotron-Speech-Streaming-En-0.6b, que codifica o stream de áudio de 16 kHz continuamente.
• Backbone LLM Nemotron Nano v2, que consome tokens de áudio e prevê tokens de texto.
• Decoder TTS e codec NVIDIA, que produz fala do agente a 22,05 kHz.
• Canal de saída separado dedicado a scripts de tool calling.

O treinamento usou aproximadamente 550 mil horas de áudio, combinando corpora reais e sintéticos, com base nos projetos SALM-Duplex e Audio Flamingo 3.

Tool calling sem silêncio constrangedor

Quando o modelo precisa consultar uma API externa, ele emite um bloco <TOOLCALL> no canal lateral. O código do operador processa a chamada e retorna o resultado em <TOOL_RESPONSE>. O diferencial é a mensagem “on-hold”: cada ferramenta tem uma frase de preenchimento definida pelo operador, que o agente fala no momento em que dispara a chamada — eliminando o silêncio enquanto a API processa.

As limitações são explícitas: a NVIDIA recomenda no máximo 5 ferramentas por sessão, o modelo não consegue chamar múltiplas ferramentas simultaneamente de forma confiável, e o usuário não pode interromper o agente durante a execução de uma ferramenta. System prompts e respostas de ferramentas precisam ser ASCII e amigáveis para TTS.

Performance nos benchmarks

• Full-Duplex-Bench 1.0: troca de turnos suave (TOR 0.82 a 448 ms), interrupção do usuário (TOR 1.00 a 480 ms), e manipulação de pausas (TOR 0.153 sintético / 0.255 Candor, quanto menor melhor).
• BFCL-v3 spoken tool calling: 58,5% simples, 62,5% múltiplas, 42,5% paralelas, 27,5% paralelas-múltiplas, 89,6% irrelevância — média de 56,1%.
• Full-Duplex-Bench v3: 82,5% seleção de ferramenta, 44,2% precisão de argumentos, 33% pass@1.
• Ranking: #2 entre modelos full-duplex abertos no VoiceBench e #2 no Full-Duplex-Bench 1.0.

O que você precisa saber antes de testar

Os pesos estão disponíveis com licença permissiva OpenMDW-1.1, mas a NVIDIA classifica o checkpoint como “pronto apenas para pesquisa”. O repositório documenta modos de falha reais:

• Teto de 2 minutos de contexto de áudio.
• Degradação para fala incompreensível após várias trocas de turno.
• Auto-fala descontrolada (runaway self-talk) após o fim de um turno.
• Palavras perdidas na transcrição do usuário.

Para rodar, é necessária uma GPU com pelo menos 80 GB de VRAM (A100, H100, RTX 6000 Pro ou B200) em Linux x86_64. Não existe API hospedada nem provedor de inferência que sirva o modelo atualmente — equipes sem acesso a GPU não conseguem avaliá-lo.