Needle 2: o modelo aberto de 45 milhões de parâmetros que roda em 28MB de RAM e dispensa GPU

A Cactus Compute lançou o Needle 2, um modelo aberto de 45 milhões de parâmetros especializado em tool calling (chamada de funções), uso de dispositivos e extração estruturada. O diferencial não é só o tamanho: o modelo inteiro cabe em um binário de 14MB e roda uma sessão completa usando cerca de 28MB de RAM — sem GPU, sem NPU e sem instalar runtime algum. Para quem acompanha a corrida dos modelos de linguagem cada vez maiores, o Needle 2 é um contraponto concreto: um modelo deliberadamente pequeno, treinado para fazer bem uma única coisa.

O que o Needle 2 faz

O objetivo do modelo é explícito e estreito: transformar uma frase do usuário em uma assinatura de função tipada. A premissa da equipe é que mapear “acenda a luz da sala” para uma chamada de API não exige conhecimento de mundo nem prosa aberta — por isso 45 milhões de parâmetros são suficientes. É exatamente esse foco que permite rodar o modelo em hardware sem acelerador dedicado.

O Needle 2 é distribuído como binários pré-compilados e uma biblioteca estática para macOS, Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32el), Windows, Android, iOS/watchOS/tvOS e WebAssembly. Segundo a Cactus, o assistente Pebble já roda o Needle localmente no app Index 01 para ações de voz offline.

Números que explicam o tamanho

Os pesos são treinados e implantados em CQ2-bit (quantização de 2 bits feita durante o pré-treinamento, não aplicada depois), selados dentro do motor C++ da própria empresa. O modelo gasta 70 MFLOPs por token, com 35 milhões dos 45 milhões de parâmetros ativos no cálculo da matriz. Para comparação, a equipe cita o LFM2.5-230M gastando 460 MFLOPs por token e o Apple FM perto de 6.000.

O throughput de decodificação reportado impressiona justamente pelo hardware modesto:

• 500 tokens/s em um Raspberry Pi 5;
• 400 a 1.500 tokens/s em Meta Quest 3S e Apple Vision Pro;
• 300 a 700 tokens/s em celulares abaixo de US$ 200.

Arquitetura: Simple Attention Network

Internamente, o Needle 2 usa o que a Cactus chama de Simple Attention Network. A receita troca a rede feed-forward por uma MLP de Hadamard, mantém atenção GQA, adiciona memória chave-valor “engram” a partir de tabelas de n-gramas com hash e usa hiperconexões multi-lane. A rede tem 27 camadas e 512 de largura. O estudo de base está no arXiv: A Controlled Study of Attention-Only Transformers.

O pré-treinamento usou um corpus proprietário de 115 bilhões de tokens, com mais 38 bilhões de tokens de pós-treinamento. Um detalhe de engenharia relevante: os pesos nunca são descomprimidos para a RAM. Os códigos de 2 bits expandem dentro de registradores vetoriais e se fundem em produtos escalares inteiros, mantendo o caminho aritmético em int8. Uma gramática byte-level compilada a partir dos seus schemas JSON restringe cada token emitido — e como o motor sabe quais tokens são legais antes de calcular os logits, ele pula até 98% da projeção de vocabulário em tokens estruturais.

A atenção usa uma janela deslizante de 256 tokens, e o turno do sistema mais as declarações de ferramentas ficam fixados como “KV sinks”. Isso mantém a memória perto de 28MB independentemente do tamanho da conversa. Se você declarar mais de cinco ferramentas, uma cabeça de recuperação contrastiva embute cada schema uma vez e admite apenas as cinco mais relevantes por turno — as não selecionadas ficam inalcançáveis, não apenas improváveis.

Para quem serve

O público-alvo é qualquer equipe que embarque firmware ou apps em hardware restrito: startups de wearables e IoT, fabricantes de eletrônicos de consumo, times de robótica e grandes fabricantes de dispositivos que precisam de um fallback offline. Os casos de uso incluem:

• comando por voz em dispositivos sem tela;
• controle offline de eletrodomésticos;
• extração de campos de recibos e notas fiscais;
• classificação de enums e roteamento local que escala para a nuvem apenas em caso de baixa confiança.

O modelo também se posiciona para cenários regulados em que o áudio não pode sair do dispositivo — um argumento forte de privacidade em mercados como saúde e financeiro. Já times de SaaS “cloud-first” ganham menos com essa abordagem.

Benchmarks: lidera em domínio, perde fora dele

A avaliação usa cinco benchmarks públicos de function calling com correspondência exata estrita e ordenada (nomes, ordem das chamadas e todos os argumentos precisam bater). O Needle 2 roda de ponta a ponta pelo motor compilado em CQ2-bit; os baselines rodam em f16 sob vLLM.

O modelo lidera os dois splits do Seal-Tools (32,6 em domínio e 28,7 fora de domínio) e registra 98,3% de acurácia de nome de função no Mobile Actions. Fica atrás no BFCL v4 (42,6 no geral), o que a Cactus atribui à distribuição de dados: o corpus é de ações de dispositivos de consumo, não de APIs corporativas em geral. A taxa de saída bem-formada nas 3.641 linhas do BFCL é de 93,4.

Outro ponto que merece atenção: toda resposta carrega um valor de confiança, calculado como o mínimo entre uma cabeça calibrada pós-hoc e a probabilidade de decodificação dos tokens de chamada. Pedidos fora do assunto retornam a chamada vazia []. O contrato é um limiar — agir acima dele, perguntar de novo ou escalar abaixo dele — o que transforma a decisão de escalar para a nuvem em uma escolha explícita de produto, e não em um acidente.

Por que isso importa agora

O Needle 2 chega num momento em que a discussão sobre IA na borda (on-device) esquentou: modelos de fronteira exigem cada vez mais hardware, enquanto dispositivos de baixo custo seguem sem GPU e com bateria limitada. A aposta da Cactus é que, para tarefas de tool calling, o gargalo nunca foi a inteligência — era o custo computacional. Um modelo de 14MB que roda a 500 tokens/s num Raspberry Pi torna viável uma camada de IA local que antes exigia nuvem.

O projeto é aberto e pode ser explorado no GitHub, no model card do Hugging Face, na página oficial do Needle e no paper no arXiv.