Alibaba lança Qwen3.8-Flash-Next, modelo multimodal de 125B que antecipa o Qwen4

Um modelo barato que antecipa a próxima geração

A equipe Qwen, da Alibaba, lançou o Qwen3.8-Flash-Next, um modelo multimodal de arquitetura Mixture-of-Experts (MoE) com pesos abertos e foco em custo por token. A novidade mais importante não é apenas o tamanho — são 125 bilhões de parâmetros no backbone —, mas o papel estratégico dele: a Alibaba o posiciona como uma prévia antecipada da arquitetura que vai sustentar o futuro Qwen4, o mesmo papel que o Qwen3-Next desempenhou antes do Qwen3.5.

A estrutura é incomum. O checkpoint combina três componentes: o modelo principal de 125B, uma tabela de embeddings de N-gramas de 51B e um módulo de predição de múltiplos tokens de 4B — totalizando 180B em disco. Ainda assim, apenas 6B de parâmetros são ativados por token, o que mantém o custo de inferência baixo.

Quatro mudanças arquiteturais

A Alibaba aponta quatro inovações centrais no lançamento:

• Atenção híbrida (GDN + QSA): três de cada quatro camadas usam o Gated DeltaNet, uma atenção linear que comprime o histórico em um estado recorrente de tamanho fixo. A quarta camada roda o Qwen Sparse Attention (QSA), que seleciona contexto em granularidade de micro-blocos em vez de token a token.
• Gated Residual: o fluxo residual se abre em quatro ramos paralelos, com um gate de leitura por elemento e um gate de escrita escalar por ramo.
• N-gram Embedding: uma tabela de 20 milhões de entradas (bigramas e trigramas) adiciona capacidade por meio de consultas determinísticas na camada 2.
• Otimizador Muon: aplicado junto ao AdamW em categorias específicas de pesos, com leis de escalonamento recalculadas.

Segundo a Alibaba, o custo de treinamento ficou em cerca de um nono do Qwen3.7-Plus.

Benchmarks e limites

Nos números divulgados pela empresa, o modelo atinge 58,7 no DeepSWE 1.1, 62,5 no SWE-bench Pro e 91,9 no LiveCodeBench v6. Em tarefas agênticas, registra 73,9 no CoWorkBench e 55,7 no JobBench. Na parte multimodal, chega a 84,5 no AndroidWorld e 95,7 no MathVision com interpretador de código.

Mas o modelo não lidera em tudo: o Claude Opus 4.6 (Max) fica à frente no HLE (40,0 contra 35,9), e o DeepSeek-V4-Flash-0731 vence no NL2Repo-Bench. O raciocínio de fronteira continua sendo a lacuna.

Como rodar

Não espere rodar isso em uma workstation: o checkpoint em FP8 ocupa 172,78 GiB, e a versão BF16 passa de 335 GiB. A implantação mínima validada é TP2 em GPUs GB300 (TP4 recomendado). O contexto nativo é de 262.144 tokens, extensível a 1 milhão com YaRN. O modelo já alimenta o modo “Standard” do QwenWork e funciona com o Qwen Code.