Vals, apoiada pela Andreessen Horowitz, quer virar o padrão-ouro dos benchmarks de IA

Por que isso importa agora

Benchmarks viraram o termômetro oficial da indústria de inteligência artificial. É por meio deles que empresas validam a capacidade de seus modelos e — quando os números favorecem — anunciam superioridade sobre a concorrência. O problema, cada vez mais evidente, é que boa parte desses testes é antiga e não mede o que os modelos modernos de fato fazem.

É exatamente nessa brecha que a Vals, startup criada em 2024, quer se posicionar. A empresa acaba de levantar US$ 40 milhões em uma rodada Série A liderada pela Andreessen Horowitz (a16z), um dos fundos de venture capital mais influentes do Vale do Silício. Antes disso, já havia captado um seed liderado pela 8VC e pela Bloomberg Beta.

A tese por trás da Vals

O cofundador Rayan Krishnan, de 25 anos, passou por Palantir, Microsoft e pelo laboratório de IA da Stanford antes de criar a empresa. Segundo ele, a Vals nasceu da observação de que os benchmarks acadêmicos não acompanhavam a velocidade do avanço das fronteiras dos modelos.

“Vimos muitos modelos novos e muito capazes chegando ao mercado rapidamente, e os benchmarks acadêmicos não acompanhavam esse avanço”, diz Krishnan.

O diferencial da Vals é simples e relevante: a empresa não divulga publicamente seus materiais de teste. Isso impede que uma companhia treine seu modelo especificamente contra as questões do exame — prática apontada por reportagens como uma forma de “colar na prova”. Em vez de medir conhecimento geral, a Vals avalia se os modelos conseguem executar tarefas complexas em áreas como direito, finanças e programação.

Do conhecimento abstrato ao impacto real

“O que estamos fazendo é olhar para os impactos reais dos modelos. Eles conseguem fazer um trabalho com a mesma qualidade de um humano em cada domínio?”, questiona Krishnan. A ideia é checar não apenas resultados positivos, mas também negativos — o que aconteceria se esses modelos “rodassem soltos no mundo”.

O escopo das avaliações está crescendo. A empresa trabalha em benchmarks de autoaperfeiçoamento recursivo, saúde mental, cibersegurança, biossegurança e até direito de conflitos armados — incluindo a aplicação da Convenção de Genebra.

Modelo de negócio e tração

Empresas pagam à Vals para testar seus modelos — o fundador compara o modelo de receita ao aluno que paga ao College Board para fazer o SAT. Os resultados dessas avaliações, por sua vez, vêm se tornando fator decisivo na hora de empresas adquirirem novos modelos de IA.

A tração é expressiva: a receita atual é oito vezes maior que a do ano passado, e o time triplicou de 8 para 25 pessoas, com planos de contratar mais 10 a 15. A startup também lançou recentemente um programa focado em avaliações para agências do governo federal dos Estados Unidos.

Krishnan enxerga os benchmarks como o futuro da forma como as empresas de IA crescem e constroem confiança pública — especialmente em um cenário de IPOs: “À medida que os modelos se tornam parte central da economia, as avaliações que fazemos vão guiar seu uso e ser parte central de como essas empresas fazem registros públicos e falam sobre investimentos.”