Dense vs. MoE: quando escolher cada arquitetura de modelo de IA

Densa ou MoE? A pergunta que define custo e velocidade

Como um modelo de 30 bilhões de parâmetros ativa apenas 3 bilhões por token e ainda assim usa toda a capacidade do modelo maior? O Nemotron 3.5 Lightning, da NVIDIA, ilustra a resposta: ele usa uma arquitetura Mixture-of-Experts (MoE), que seleciona apenas um subconjunto dos parâmetros para cada token.

Existem duas arquiteturas dominantes hoje: o modelo denso e o MoE. A forma como um modelo organiza seus parâmetros importa tanto quanto a quantidade deles — e a escolha certa afeta throughput, custo de memória e complexidade de servir mais do que o número bruto de parâmetros.

Uma boa analogia: imagine dois motores com a mesma cilindrada total. Um dispara todos os cilindros a cada ciclo; o outro ativa apenas os cilindros de que precisa.

Como cada arquitetura funciona

Em um modelo denso, todos os parâmetros participam de cada passada para frente. Os 27 bilhões de parâmetros de um modelo 27B disparam para todo token, por meio de uma única rede feed-forward (FFN) compartilhada por camada do decoder.

Um modelo MoE substitui essa FFN única por múltiplos blocos FFN, chamados de experts. Uma rede de roteamento (gate) decide, para cada token, quais experts serão acionados — os demais ficam inativos naquela camada. Onde um modelo denso teria uma FFN, uma camada MoE tem várias (8, 64 ou 128). Muitos MoEs modernos, como o Mistral Small 4, também rodam um expert “compartilhado” que recebe todos os tokens.

É importante entender que o roteamento é recalculado a cada camada: um token não “escolhe” um expert e fica nele pelo resto do cálculo. E esses experts não são especialistas no sentido tradicional — suas especializações estão principalmente em padrões de sintaxe e tipos de token (pontuação, números), embora isso varie conforme a arquitetura.

A diferença que importa: memória vs. computação

A diferença de performance se resume a dois fatores. Primeiro, com o mesmo total de parâmetros, os blocos FFN pulados tornam o MoE mais rápido. Mas a consequência mais relevante é que o MoE desacopla memória de computação.

Em um modelo denso, os custos de hospedagem e de inferência escalam juntos. O MoE quebra esse vínculo: a VRAM é paga antecipadamente (todos os experts precisam estar na memória da GPU), mas a computação é paga por token e escala apenas com os experts que disparam. Experts ociosos não custam nada para rodar — embora você ainda pague a memória para armazená-los.

No batch size 1 (decodificação de uma única resposta), o MoE se destaca porque lê menos bytes de peso por token. Conforme o batch cresce, os tokens coletivamente acabam usando a maioria dos experts, e a vantagem diminui. O MoE mantém vantagem de throughput em todos os tamanhos de batch, mas sua margem de latência em relação a um modelo denso bem otimizado encolhe em alta concorrência.

Um exemplo concreto da tabela da NVIDIA: o Gemma 4 31B e o Nemotron 3.5 Lightning têm ambos ~30B de parâmetros totais, mas suas faixas de velocidade de saída não se sobrepõem. O Lightning chega a entregar de quatro a cinco vezes a velocidade de saída do Qwen3.8-27B por um décimo quarto do preço — mas pontua menos da metade em capacidade geral. É a troca certa para uma camada de execução agêntica rodando etapas bem definidas em volume, e a troca errada quando uma única passada de raciocínio difícil decide o resultado.

Quando escolher cada uma

A decisão depende do seu contexto de deploy. Quatro fatores pesam:

• Orçamento de memória: o footprint acompanha o total de parâmetros, não os ativos — um MoE 30B e um denso 30B precisam ambos de ~60 GB. A pergunta é o que você ganha por esses gigabytes: o denso converte em capacidade, o MoE em throughput.
• Concorrência: o MoE vence claramente para uma única requisição. Em alta concorrência, a vantagem de latência encolhe — faça benchmark dos dois antes de decidir.
• Planos de fine-tuning: o fine-tuning de modelos densos é mais simples. Um fine-tune completo em MoE pode desbalancear o roteador, tornando alguns experts mais populares que outros. LoRA/PEFT e congelar o roteador ajudam a evitar isso.
• Quantização: a taxa de compressão não é onde mora a diferença arquitetural. Verifique a precisão nativa do checkpoint (o Mistral Small 4 já é FP8, então 4-bit compra ~1,7×, não 4×). Em MoE, o roteador é sensível a perturbações pequenas — receitas de quantização mantêm roteador, embeddings e cabeça de saída em precisão maior.

No fim, denso e MoE são duas respostas para o mesmo trade-off: capacidade por parâmetro contra computação por token. O denso mantém tudo simples e ativo, o que facilita o fine-tuning e o serving. O MoE compra throughput com memória — e paga em complexidade de operação.