Além dos transformers: as startups que estão reinventando os grandes modelos de linguagem

O gargalo dos transformers

Em 2017, pesquisadores do Google publicaram o artigo “Attention Is All You Need”, descrevendo um novo tipo de rede neural chamada transformer. Nove anos depois, os transformers são o motor dentro de cada grande modelo de linguagem do mercado. “Toda a indústria de IA é construída sobre transformers”, diz Justin Dangel, cofundador e CEO da startup Subquadratic. “Eles são uma das inovações mais importantes da história da ciência da computação.”

Mas os transformers estão começando a mostrar sua idade. Muitos dos avanços recentes em LLMs — como modelos de raciocínio e janelas de contexto expandidas — não são extensões elegantes da tecnologia central, e sim soluções alternativas que remendam falhas fundamentais.

O problema está no mecanismo de atenção densa (dense attention), que codifica o significado de um texto comparando cada palavra com todas as outras via multiplicação. Um documento de 10.000 palavras pode exigir 50 milhões de multiplicações. É por isso que LLMs consomem tanta energia. A OpenAI deve gastar US$ 50 bilhões em computação este ano, e a Agência Internacional de Energia prevê que o consumo de eletricidade por data centers vai dobrar até 2030.

Uma nova onda de startups está apostando que pode resolver esse gargalo. Conheça quatro abordagens que podem mudar os LLMs para sempre:

01: Repensando a atenção — Subquadratic e Manifest AI

A Subquadratic, baseada em Miami, afirma ter inventado o primeiro mecanismo de atenção esparsa (sparse attention) que rivaliza com os principais LLMs em tarefas como busca e codificação. Em vez de comparar todas as palavras entre si, o modelo descobre em tempo real quais palavras importam e quais não. A empresa diz que milhares de pessoas já se inscreveram em sua lista de espera.

Já a Manifest AI, de São Francisco, está substituindo a atenção por completo. Seu mecanismo de power retention armazena apenas as informações mais relevantes para uma tarefa, fornecendo ao modelo um resumo contínuo da janela de contexto. Informações menos relevantes são descartadas conforme novas entram. A empresa converteu um LLM open-source de código (StarCoder) em uma versão com power retention chamada PowerCoder, e lançou o modelo Brumby, que rivaliza com versões do Qwen da Alibaba.

02: Modelos menores e flexíveis — Liquid AI

A Liquid AI, spinout do MIT em Cambridge, não abandonou os transformers, mas os combina com sua própria tecnologia: redes neurais líquidas, inspiradas em cérebros de vermes. Seus modelos são muito menores e usam menos energia que a maioria dos LLMs — os mais recentes rodam em um Raspberry Pi de US$ 50.

O diferencial é um mecanismo que permite ao modelo adaptar seu comportamento a novas informações durante o uso — algo impossível com transformers, cujo comportamento é fixo após o treinamento. Os modelos mais recentes da Liquid AI são híbridos: 20% transformers e 80% redes neurais líquidas. Eles igualam o desempenho de rivais quatro vezes maiores, incluindo versões do Qwen e do Gemma (Google).

A Liquid AI construiu outro sistema de IA para ajudar a projetar seus modelos. Esse “designer AI” testa milhares de combinações de redes neurais diferentes e encontra o ponto ideal entre desempenho e eficiência. “Seu cérebro é um sistema AGI que opera com 20 watts de potência. Como isso é possível? Podemos ser muito mais inovadores”, diz o CEO Ramin Hasani.

03: Gerando texto de uma vez — Inception

Quase todos os LLMs produzem texto uma palavra por vez. Para computadores, isso é muito ineficiente. A Inception, de Palo Alto, está construindo LLMs usando uma técnica chamada difusão — a mesma tecnologia por trás dos modelos de geração de imagem e vídeo.

Modelos de difusão processam todos os pixels (ou tokens) simultaneamente, cuspindo frases ou parágrafos inteiros de uma só vez. A abordagem é mais rápida e barata porque elimina a geração sequencial. Embora ainda em estágio inicial para texto, o potencial é enorme se a qualidade alcançar os modelos autoregressivos atuais.

04: Destilação de conhecimento em escala

Paralelamente às novas arquiteturas, pesquisadores também estão tornando a destilação de conhecimento — a técnica de transferir o conhecimento de um modelo grande (professor) para um modelo pequeno (aluno) — acessível e barata o suficiente para rodar em escala. O Hugging Face publicou um guia detalhado mostrando como reduzir o custo computacional dessa técnica que é essencial para colocar modelos eficientes em produção sem sacrificar qualidade.

O que está em jogo

Os transformers não vão desaparecer amanhã. Mas a forma como os LLMs são construídos está em disputa. O MIT Technology Review batizou essa futura geração de modelos de “LLMs+” na lista das 10 coisas que importam em IA neste ano. Com a OpenAI gastando US$ 50 bilhões em computação, há muito em jogo — e as startups têm tudo a ganhar e muito menos a perder do que as gigantes na dianteira do mercado.