Modelos de fala que resolvem matemática em voz alta
A Kyutai liberou o Voice of Reason, dois modelos open-weight de fala-para-fala que resolvem problemas de matemática falando em voz alta. Ambos partem do GLM-4-Voice-9B e somam fine-tuning supervisionado (SFT) e aprendizado por reforço (RL). Não há etapa de transcrição nem LLM de texto separado no circuito. No GSM8K falado, a acurácia salta de 27,3% (modelo base) para 77,1%.
Para quem quer rodar localmente, os dois checkpoints em BF16 cabem em uma única H100. É preciso o repositório do GLM-4-Voice para o tokenizador e o decodificador de fala. Os pesos herdam a licença do GLM-4-Voice, e nenhum provedor de inferência do Hugging Face os hospeda por enquanto.
Por que modelos de fala ficam para trás em matemática
Pipelines em cascata (fala-para-texto, LLM de texto, texto-para-fala) ainda lideram em raciocínio. Mas cada estágio adiciona latência, e o pipeline perde sinais paralinguísticos como o tom. Modelos nativos de fala precisam emitir áudio em intervalos regulares para se manter interativos — o que limita quantos tokens ocultos de raciocínio eles podem custear.
O GLM-4-Voice base marca 27,3% no GSM8K. O método anterior STITCH elevou esse número para 58,7% adicionando blocos de raciocínio. A Kyutai afirma ser a primeira a aplicar RL ao raciocínio matemático em modelos nativos de fala.
Como o treinamento funciona
O GLM-4-Voice intercala a saída: 13 tokens de texto, depois 26 tokens de áudio, repetindo.
No Estágio 1 (SFT), o treinamento usa 150.616 problemas do Orca-Math. O Qwen3-235B reescreveu cada problema para fala, e o TTS DSM da Kyutai os narrou em diversas vozes. Só o SFT eleva o GLM-4-Voice de 27,3% para 61,7%.
No Estágio 2 (RL), para cada pergunta falada o modelo amostra 4 respostas a temperatura 0,9. Um juiz (Qwen3-235B-A22B-2507) pontua o texto decodificado com recompensa binária, sem nunca ver a resposta de referência — em 100 casos checados à mão, concordou com humanos em 88% das vezes.
Duas decisões de design se destacam. A correção de temperatura divide os logits pela temperatura de amostragem antes do log-softmax na perda; sem isso, o GSM8K despenca de 65,5% para 12,3%. A fusão de tokens de áudio soma todas as probabilidades do vocabulário de áudio em um único token abstrato em cada posição, perguntando apenas se o áudio veio em seguida.
Os dois checkpoints e os resultados
O glm-4-voice-of-reason-9b responde diretamente, sem tokens extras de raciocínio. O glm-4-voice-of-reason-stitch-9b escreve blocos silenciosos de 100 tokens de raciocínio entre os blocos falados — e, como os blocos posteriores são gerados enquanto a fala anterior toca, o “pensar” não adiciona latência.
Nos resultados reportados, o modelo direto atinge 70,3% (versão liberada) e o Stitch chega a 77,1%, superando os 58,7% do STITCH sem tokens de raciocínio. Para referência, modelos maiores como o Qwen2.5-Omni (7B) marcam 84,7% e o Qwen3-Omni (30B) 94,6% — mas são pipelines maiores, não comparações casadas.
Os ganhos sobrevivem à fala real: transcrito com o Qwen3-ASR-1.7B, o modelo Stitch marca 72,0%. A naturalidade se mantém (UTMOSv2 de 4,174 para 4,164 no Stitch). E o ganho não vem de respostas mais longas — o RL reduziu a resposta média do modelo direto de 41,9 para 36,4 segundos.
Um alerta honesto do próprio artigo: o conhecimento geral cai. No TriviaQA falado, o modelo direto foi de 40,6% para 34,0%, queda atribuída principalmente ao SFT com dados completos, não ao RL.
Por que isso importa
Assistentes de voz em português — no suporte, na educação e em aplicações de acessibilidade — dependem hoje de pipelines em cascata caros e lentos. O Voice of Reason mostra um caminho para raciocínio matemático nativo em fala com modelos de apenas 9B, viáveis em uma única GPU. É um passo concreto rumo a assistentes de voz que pensam antes de falar, sem intermediários de texto.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
