ZGCM-1: modelo aberto de 7B compete com gigantes em matemática e busca agêntica

Um modelo 7B treinado do zero para competir com gigantes

Pesquisadores apresentaram o ZGCM-1, um modelo de fundação 7B denso, totalmente aberto, treinado do zero com eficiência extrema em dados, sistema e algoritmo. A premissa central: modelos compactos não conseguem memorizar passivamente a web aberta, mas podem superar os limites de capacidade paramétrica combinando pensamento interno deliberado com uso ativo de ferramentas externas.

Para sustentar esse paradigma em uma janela de contexto de 256K tokens, a equipe desenvolveu uma receita aberta de treinamento de ponta a ponta, com co-design de arquitetura e sistema — atenção deslizante com janela intercalada a atenção completa, e um otimizador FP8 Muon estável — além de currículo progressivo de contexto (16K → 64K → 256K) e reformulação de traços de interação como Processos de Decisão de Markov (MDP).

Resultados que chamam atenção

Nas avaliações, o ZGCM-1-7B se mantém competitivo na família de modelos 7B em benchmarks gerais. O mais impressionante: em suítes desafiadoras de raciocínio matemático e busca agêntica, ele permanece competitivo com modelos de fronteira ordens de magnitude maiores, como Qwen3-235B-A22B e GLM-5.1.

O design de pré-treinamento também entrega uma melhoria de eficiência de ~4,2× no tempo-para-perda em pré-treinamento 16K.

Abertura total para a comunidade

O time foi além do comum em transparência: abriu os pesos das três etapas (pré-treinamento, mid-training e pós-treinamento), checkpoints intermediários, código de treinamento, dados por etapa e receitas, além dos logs do Weights & Biases. Também documentou oito descobertas empíricas acionáveis sobre escalabilidade arquitetural, poda de qualidade em SFT, generalização de contexto longo e dinâmica de co-treinamento agêntico.

Um detalhe curioso do fluxo: a equipe adotou um workflow de P&D nativo de IA, em que enxames de agentes gerenciam autonomamente operações de cluster, curadoria de dados e avaliação diagnóstica rápida.

Por que isso importa

O ZGCM-1 reforça uma tendência importante de 2026: modelos abertos e pequenos, quando treinados com receitas eficientes e acoplados a ferramentas, estão fechando a lacuna com gigantes proprietários — com uma fração do custo. Para empresas e pesquisadores brasileiros sem acesso a clusters enormes, é um sinal de que eficiência pode valer mais do que escala bruta.