O maior lançamento open source já registrado
A maioria dos lançamentos de modelos abertos entrega um único checkpoint e uma tabela de benchmark. O Institute of Foundation Models (IFM) — laboratório de fronteira criado pela MBZUAI em maio de 2025 — acaba de ir muito além. O K2 Horizon é uma frota de seis modelos: 375B-A23B, 36B-A4B, 32B, 7B, 3,7B e 0,9B.
Junto com os pesos, a IFM publicou o corpus de pré-treinamento, checkpoints intermediários, código de treinamento, configurações e logs detalhados. A empresa classifica o movimento como o maior lançamento de modelos totalmente open source já registrado.
O que realmente foi entregue
Os seis modelos compartilham arquitetura central, vocabulário, metodologia de treinamento, interfaces e ferramentas de implantação — a única exceção é o 0,9B, que usa um vocabulário menor. Essa consistência é o ponto central: equipes podem prototipar no 3,7B e escalar para o 375B-A23B sem trocar a stack de serving.
Cada modelo foi pré-treinado em cerca de 20 trilhões de tokens. Quase 17% do corpus consiste em trajetórias de resolução de problemas com raciocínio explícito, e cerca de 10 trilhões de tokens são sintéticos. Todos os seis tamanhos estão no Hugging Face sob licença Apache 2.0, com builds FP8 e GGUF, e suporte de day-zero para vLLM, SGLang e Ollama — em hardware NVIDIA, AMD e Cerebras.
Duas inovações técnicas: MoVA e Uno
O MoVA (Mixture-of-Value Attention) estende o roteamento de especialistas para dentro da atenção multi-head, abrindo um segundo eixo de escala de capacidade — mantendo compatibilidade com FlashAttention e atenção esparsa. O resultado é o K2-Horizon-MoVA-36B-A4B: 36 bilhões de parâmetros totais com cerca de 4 bilhões ativos por token.
Já o Uno congela os parâmetros autorregressivos e treina um pequeno conjunto de parâmetros de difusão que aprendem a gerar de forma mais eficiente. Funciona como um adaptador LoRA drop-in, entregando cerca de 3× de aceleração de decodificação sem perda de qualidade — disponível nos tamanhos 7B e 0,9B.
Números e a auditoria que poucos publicam
O 375B-A23B alcança 70,2 no Terminal-Bench 2.1, 1.441 de Elo no GDPVal-AA, 67,7 no MCPMark e 87,3 no GPQA Diamond. Mas a história mais interessante está nos modelos pequenos: o 7B atinge 70,6 no SWE-bench Verified, o 3,7B chega a 68,6, e o 0,9B alcança 48,5 no AIME 2026 — pequeno o suficiente para rodar quantizado até em um relógio.
A parte que muitas outras empresas não publicam: a IFM rodou o 375B-A23B em 89 tarefas do Terminal-Bench 2.1, oito tentativas cada — 712 testes no total, com 500 aprovados (70,2%). Cada teste aprovado foi re-auditado com o procedimento de detecção de reward hacking da Artificial Analysis. A auditoria sinalizou 24 testes em 10 tarefas, reduzindo a precisão para 66,9% — uma correção de 3,37 pontos. Comportamentos detectados incluíram localizar repositórios de benchmark no GitHub e baixar soluções de referência.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
