Dois modelos de fronteira de código aberto foram lançados com um dia de diferença nesta semana — e, embora tenham sido projetados de forma independente, suas configurações parecem cópias quase idênticas umas das outras. A Z.ai lançou o GLM-5.3-Flash, um modelo multimodal MoE de 320 bilhões de parâmetros com 18 bilhões ativos. O time Qwen, da Alibaba, lançou o Qwen3.8-Flash-Next, um modelo de 125 bilhões de parâmetros com 6 bilhões ativos, que antecipa a arquitetura Qwen4.
Os dois usam uma atenção híbrida de 3:1 entre camadas lineares e de atenção completa, selecionam contexto com um indexador comprimido limitado a 2.048 tokens, alargam o fluxo residual em quatro ramos com portas e treinam com o otimizador Muon. É a convergência mais clara já vista entre dois laboratórios chineses independentes.
As duas liberações em resumo
O GLM-5.3-Flash é o primeiro modelo nativamente multimodal da série GLM-5, lançado sob licença MIT no Hugging Face. Foi testado anonimamente como “Ox Alpha” no OpenRouter, onde virou o modelo mais popular da semana. Foi treinado em um corpus multimodal de 30 trilhões de tokens e serve uma janela de contexto de 1 milhão de tokens. A Z.ai afirma que ele supera o GLM-5.2 em benchmarks por um décimo do preço, se aproximando do Claude Opus 4.8 em tarefas de código e agentes. O preço é de US$ 0,15 por milhão de tokens de entrada e US$ 0,50 por milhão de tokens de saída.
O Qwen3.8-Flash-Next cumpre o papel que o Qwen3-Next cumpriu para o Qwen3.5: uma prévia pública antecipada da próxima família de arquiteturas. A ficha do modelo lista um modelo principal de 125B mais uma tabela de embeddings n-gram de 51B, com 6B de parâmetros ativados por token. O contexto nativo é de 262.144 tokens, extensível a 1M com YaRN. O time Qwen relata que o treinamento exigiu apenas cerca de um nono do poder computacional do Qwen3.7-Plus.
Convergência 1: três de cada quatro camadas são lineares
O GLM-5.3-Flash empilha 45 camadas — 34 de atenção linear e 11 de atenção completa. O Qwen3.8-Flash-Next empilha 48 camadas em um bloco repetido de 3 camadas Gated DeltaNet mais 1 camada de Qwen Sparse Attention. Ambos chegam à mesma proporção de 3:1.
As camadas lineares são as baratas: em vez de um cache KV que cresce com o texto, elas comprimem todo o histórico em um estado recorrente de tamanho fixo, mantendo o custo por token constante. O GLM usa Kimi Delta Attention (KDA), da Moonshot AI; o Qwen usa seu próprio Gated DeltaNet. Granularidade de gating diferente, mesma família delta-rule, mesma função.
Convergência 2: comprimir 4x e manter 2.048 tokens
Nenhum dos dois deixa as camadas de atenção completa atenderem sobre todo o contexto. Ambos anexam um pequeno indexador que pontua blocos do histórico e mantém apenas os vencedores. O GLM usa um indexador lightning de 32 cabeças com seleção top-2048; para cortar custo em contextos de 1M, a Z.ai introduziu o IndexPool, que comprime quatro vetores-chave em um. O Qwen opera em granularidade de micro-blocos: o indexador pontua blocos de 4 tokens e mantém os 512 melhores — exatamente 2.048 tokens. Ambos comprimem o contexto 4x antes de pontuar e limitam o orçamento de atenção a 2.048 tokens.
Convergência 3 e 4: quatro fluxos residuais e Muon
Os dois abandonaram o fluxo residual único que definia os transformers desde 2017, alargando-o em quatro ramos paralelos com portas. O GLM adota Manifold-Constrained Hyper-Connections (mHC), design originado na DeepSeek; o Qwen escreveu sua própria variante, o Gated Residual. O time Qwen testou ambas e concluiu que são praticamente iguais em qualidade. Os dois também treinam com o otimizador Muon, dividindo matrizes fundidas em suas transformações independentes antes da ortogonalização.
O ponto de divergência: codificação posicional
A única separação limpa está no RoPE. O GLM-5.3-Flash descarta o RoPE (configura qk_rope_head_dim = 0), tornando suas camadas MLA totalmente NoPE. O Qwen tentou o mesmo e manteve o RoPE: segundo o relatório técnico, o NoPE não produziu diferença mensurável durante o pré-treinamento, mas a falha apareceu depois — no pós-treinamento, a variante NoPE frequentemente não parava de gerar. É um resultado de cautela valioso para o campo: curvas de perda no pré-treinamento podem esconder defeitos comportamentais que só aparecem após o ajuste via RLHF.
O dissidente: MiniMax
A receita não se limita a dois laboratórios. A DeepSeek foi pioneira no padrão de indexador esparso com orçamento de 2.048 tokens (DSA, no DeepSeek-V3.2-Exp), e a Moonshot contribuiu com o KDA. O dissidente notável é a MiniMax: durante o desenvolvimento do M2, a equipe testou atenção linear e de janela deslizante em escala e encontrou déficits severos em raciocínio multi-hop, especialmente além de 32K de contexto. O M3 adotou atenção esparsa softmax (MSA) sem nenhuma camada linear.
Ou seja: o campo ainda não se decidiu. Z.ai, Qwen, DeepSeek e Kimi apostam que o híbrido linear 3:1 preserva o raciocínio. As ablações da MiniMax dizem que não — pelo menos para a pilha deles.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
