A NVIDIA lançou o Nemotron-Labs-TwoTower, um modelo de linguagem por difusão com pesos abertos sob a licença NVIDIA Nemotron Open Model License. A arquitetura resolve um gargalo crítico dos modelos autorregressivos tradicionais: a geração de texto token por token.
Modelos autorregressivos decodificam um token de cada vez, em série — o que limita a vazão de geração. O TwoTower adota uma abordagem diferente: usa difusão discreta para gerar múltiplos tokens em paralelo e refiná-los iterativamente.
Duas torres, um propósito
A maioria dos modelos de linguagem por difusão usa uma única rede para duas funções: representar tokens limpos e remover ruído de tokens corrompidos. O TwoTower separa essas responsabilidades em duas torres:
- Torre de contexto AR: baseada no backbone Nemotron-3-Nano-30B-A3B, processa o prompt e os tokens já gerados, produzindo caches KV e estados Mamba-2. Esta torre permanece congelada durante o treinamento.
- Torre denoiser: treinada para refinar blocos de tokens ruidosos usando atenção bidirecional dentro de cada bloco, com cross-attention camada a camada para a torre de contexto.
O backbone híbrido intercala 23 camadas Mamba-2, 6 de self-attention e 23 de Mixture of Experts (MoE), com 128 experts roteáveis (6 ativos + 2 compartilhados por token). O checkpoint liberado tem aproximadamente 60 bilhões de parâmetros totais, com cerca de 3 bilhões de parâmetros ativos por token em cada torre.
Resultados
No ponto de operação padrão (confiança γ=0.8, bloco S=16, 2×H100), o TwoTower retém 98,7% da qualidade do baseline autorregressivo com 2,42× mais vazão de geração. O treinamento do denoiser usou aproximadamente 2,1 trilhões de tokens — uma fração dos 25 trilhões usados no pré-treinamento do backbone.
Três modos de inferência
Um diferencial prático do TwoTower é que um único checkpoint suporta três modos de geração:
- Mask diffusion: modo completo com duas GPUs (~59 GB cada em BF16), gera múltiplos tokens por passo
- Mock-AR: modo de compatibilidade que emula decodificação autorregressiva
- AR-only: usa apenas a torre de contexto como modelo autorregressivo padrão em uma única GPU de 80 GB
Limitações
O modelo apresenta degradação mais acentuada em código e matemática (HumanEval cai de 79,27% para 75,58%). A presença das duas torres dobra a memória ocupada pelos pesos do modelo, exigindo duas GPUs para o modo de difusão completo. Além disso, o checkpoint liberado é um modelo base, sem ajuste de instrução ou alinhamento — times que quiserem usar em chatbots precisarão fazer fine-tuning.
Casos de uso
O cenário mais direto é geração em lote de alta vazão — times de dados produzindo texto sintético para treinamento ou aumento de datasets. O modelo também serve como base de pesquisa para exploração do espaço de trade-off entre qualidade e velocidade em decodificação por difusão, e como drop-in para speculative decoding usando o mesmo checkpoint.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
