Modelos de IA pequenos o bastante para o seu bolso
Uma startup fundada por pesquisadores da Caltech está apostando que modelos de IA poderosos não precisam, necessariamente, ser gigantes. A PrismML desenvolve tecnologia de compressão que encolhe grandes modelos de raciocínio até o ponto em que eles cabem em PCs e smartphones — sem, segundo a empresa, perder praticamente nada de desempenho.
Nesta semana, a companhia lançou o Bonsai 2 27B, o mais novo integrante de sua família de modelos. Ele comprime o Qwen3.8 27B — um modelo open source bastante usado, da Alibaba — para 5,9 GB. É uma redução de 9 a 10 vezes no uso de memória em relação ao original, tamanho suficiente para rodar em um PC e, possivelmente, em um smartphone de ponta.
98% do desempenho, uma fração do tamanho
O argumento central da PrismML é que sua compressão preserva o desempenho. O Bonsai 2 alcança 98% da pontuação agregada do Qwen nos benchmarks, segundo a empresa — acima dos 95% do primeiro Bonsai, lançado em março. Esse modelo original já foi baixado mais de 11 milhões de vezes, e os modelos ainda menores da companhia somam outros 2,6 milhões de downloads.
O CEO Babak Hassibi, professor da Caltech e especialista em tecnologias de compressão, reconhece que a compressão provavelmente sempre terá algum impacto. A questão de chegar a 100% de paridade em benchmarks segue aberta. Mas ele pondera que a paridade perfeita é, em grande medida, acadêmica: os LLMs não são perfeitamente precisos nem em sua forma original, e os benchmarks não refletem perfeitamente as tarefas reais.
Quem está por trás
A PrismML levantou uma rodada seed de US$ 22,25 milhões com Khosla Ventures, Cerberus Capital e Caltech. Entre os conselheiros está Ion Stoica, cofundador da Databricks e diretor do Sky Computing Lab de Berkeley, laboratório que já originou tecnologias e startups como Letta e SGLang.
Há rumores de que a empresa estaria em conversas com a Apple, mas Hassibi se recusou a comentar o assunto ao TechCrunch. A PrismML não é a única a apostar em compressão de LLMs — a Multiverse Computing, por exemplo, segue caminho semelhante —, mas a combinação de pedigree acadêmico e resultados divulgados a coloca entre os nomes a acompanhar de perto.
Por que isso importa
Modelos que rodam localmente em smartphones e notebooks mudam o cálculo de custo, privacidade e latência da IA. Em vez de enviar tudo para a nuvem, tarefas de raciocínio poderiam rodar no próprio aparelho, sem conexão e sem custo por token. Se a PrismML conseguir manter essa taxa de compressão conforme os modelos-base evoluem, a IA “no dispositivo” pode deixar de ser promessa distante para virar padrão de mercado.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
