O desafio da inferência
A corrida por inferência de IA mais rápida está esquentando — e os mercados deram as boas-vindas à Cerebras e seus chips de propósito específico na estreia na bolsa em maio. Mas a startup francesa Kog aposta em uma tese diferente: há muito mais desempenho a ser extraído das GPUs convencionais que as empresas já possuem.
A companhia chegou à primeira página do Hacker News em maio com uma prévia técnica que pretendia provar que a decodificação extremamente rápida de requisições individuais é possível nas GPUs padrão de data center — como as AMD MI300X e Nvidia H200 usadas na demonstração.
Com a velocidade e o custo da inferência virando gargalo crítico, a promessa de desbloquear novas capacidades no hardware existente usando apenas otimização de software atraiu mais do que curiosos. “Tivemos 200 leads de negócios tangíveis”, disse o CEO Gaël Delalleau ao TechCrunch.
Engenharia de software como primeiro caso de uso
Com base no feedback inicial, o fundador solo espera que a engenharia de software seja o primeiro caso de uso. Usuários veteranos do Claude Code sabem que, às vezes, precisam esperar horas por resultados. A própria Anthropic entende que velocidade vale dinheiro e cobra um múltiplo de preço pelo Modo Rápido do Claude.
A Kog quer mirar justamente os clientes incomodados com esses atrasos — em geral, quem depende de fluxos de trabalho de IA para tarefas profissionais. A startup também tem parceiros de design que permitem gerar jogos e aplicativos a partir de um prompt, e para quem um resultado mais veloz graças ao Kog Inference Engine (KIE) significaria mais receita.
A promessa de “30x mais rápido”
O salto, porém, é grande. A demonstração mostrou impressionantes 3.000 tokens por segundo (TPS) por requisição — mas com um modelo pequeno de propósito específico, o Laneformer 2B, de cerca de 2 bilhões de parâmetros, agora disponibilizado em código aberto.
Contrariando os céticos, Delalleau está confiante de que a mesma abordagem funciona com LLMs, cujo tamanho é um desafio para chips de inferência. “As GPUs têm um futuro brilhante”, afirmou. Para ele, a ideia de que elas não são adequadas para decodificação virou um equívoco: as GPUs mais novas têm cada vez mais largura de banda de memória que só pede para ser desbloqueada.
Concorrência e foco profundo
A Kog não está sozinha em apostar na otimização de software. A ZML, também francesa, lançou software agnóstico de hardware que contorna o CUDA da Nvidia. Mas Delalleau compara a Kog mais ao laboratório Hazy Research, de Stanford, com foco ainda mais profundo na aceleração de GPU.
Esse foco vem da trajetória incomum do fundador: estudou física do estado sólido na École Polytechnique e trabalhou com segurança cibernética ofensiva. O hacking, segundo ele, ensinou a “fazer engenharia reversa em nível muito baixo — até linguagem assembly e código binário”. O lado negativo é que a abordagem é artesanal: para cada nova GPU, a equipe de 11 pessoas dedica semanas ou meses de pesquisa de engenharia.
O que vem a seguir
No longo prazo, a Kog espera alimentar sua metodologia em pipelines baseados em agentes. Por ora, precisa provar que a abordagem funciona com LLMs — o que também é a chave para levantar mais capital. “Uma vez que implementarmos nosso primeiro modelo grande a 10x de velocidade, o que acho que será em setembro, poderemos começar a demonstrar tração e levantar nossa Série A”, disse Delalleau.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
