A PrismML lançou o Ternary Bonsai 2 27B, uma versão quantizada em pesos ternários do Qwen3.8 27B. O modelo ocupa apenas 5,93 GB — contra 53,80 GB na versão FP16, uma redução de cerca de 9,1 vezes — e, segundo a empresa, preserva 98,2% do desempenho médio do modelo original em 20 benchmarks. Os pesos estão sob licença Apache 2.0.
Por que isso importa agora
A quantização extrema deixou de ser um truque acadêmico e virou um caminho concreto para rodar modelos de 27 bilhões de parâmetros em hardware comum. O Ternary Bonsai 2 roda hoje em um notebook com 16 GB de RAM ou em uma única GPU de 24 GB — sem depender de nuvem ou de data centers dedicados.
Como funciona o formato ternário
Cada peso assume um de três valores: -1, 0 ou +1. Um grupo de 128 pesos compartilha uma escala em FP16, o que resulta em aproximadamente 1,71 bits por peso. Antes da atribuição ternária, a PrismML aplica uma rotação de Hadamard em blocos de 1.024, técnica que distribui a informação entre os pesos e reduz a perda de precisão.
Números de desempenho
- 83,9 de média em 20 benchmarks (contra 85,4 do Qwen3.8 27B em FP16);
- 142,5 tokens por segundo em uma RTX 5090 e 46,8 em um Apple M5 Max;
- 40% de ganho de eficiência energética em relação a um modelo 8B em precisão total, segundo a equipe de pesquisa.
As limitações que ninguém esconde
Em benchmarks de agentes de longo horizonte, o modelo mantém apenas cerca de 75% das notas em precisão total — um recado claro de que a compressão cobra seu preço justamente nas tarefas que mais dependem de raciocínio sustentado. Além disso, os arquivos GGUF não funcionam no llama.cpp padrão: é preciso usar o fork da PrismML ou o runtime MLX para Apple.
O modelo aceita texto e imagens, suporta contexto de 262 mil tokens e já foi demonstrado dirigindo agentes de codificação Cline e tarefas de computer use. Para quem quer explorar modelos locais de grande porte sem estourar o orçamento, o Ternary Bonsai 2 é um dos sinais mais fortes de 2026 de que a fronteira da eficiência está se movendo rápido.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
