Benchmarks de IA que dão para reproduzir — e confiar
A UK AI Security Institute (AISI), órgão de pesquisa do governo britânico dedicado a entender os riscos da IA avançada, passou a usar a infraestrutura da EvalEval Coalition para publicar abertamente seus resultados de avaliação. O objetivo é um só: tornar a ciência de avaliação de modelos mais reproduzível, verificável e útil para quem depende dela.
A colaboração não nasceu do nada. As duas organizações já haviam trabalhado juntas em um workshop conjunto durante a NeurIPS 2025, e o feedback do AISI ajudou a moldar o esquema Every Eval Ever (EEE), o padrão compartilhado de relato de avaliações da EvalEval.
Por que avaliar direito é tão difícil hoje
Com a aceleração do uso de IA, as avaliações viraram uma das principais fontes de evidência sobre o desempenho de modelos e sistemas. O problema: os resultados são publicados em formatos, plataformas e veículos diferentes, muitas vezes sem informação suficiente para que outra equipe consiga reproduzi-los — e rodar a avaliação de novo pode ser proibitivamente caro.
A EvalEval ataca isso com duas ferramentas principais:
- Every Eval Ever (EEE): um esquema e repositório compartilhado de resultados de avaliação.
- Evaluation Cards: uma plataforma aberta que reúne resultados, metadados de benchmark, dados de execução e informações do modelo em registros interpretáveis.
O conjunto permite comparar resultados que parecem semelhantes, mas foram produzidos em condições muito diferentes.
O que o AISI está compartilhando
Nesta nova fase, o instituto britânico está tornando públicos, via Evaluation Cards, os métodos e achados de suas avaliações. O pacote inclui resultados verificados, contexto e configuração de cinco benchmarks do experimento principal do estudo:
- HealthBench
- FrontierMath
- Humanity’s Last Exam
- SWE-Bench Pro
- Terminal-Bench 2.0
Os resultados cobrem seis modelos de fronteira — Claude Opus 4, Opus 4.5, Opus 4.6, GPT-5, GPT-5.2 e GPT-5.4 — além de duas avaliações de cibersegurança relacionadas (Cyber CTFs e The Last Ones).
A ciência por trás da transparência
Os dados acompanham o paper “How Inference Compute Shapes Frontier LLM Evaluation”, que investiga como o desempenho em benchmarks depende do compute de inferência e do protocolo de avaliação. Um achado central: quando os modelos recebem feedback de acerto de um “oráculo” após cada tentativa, eles continuam resolvendo tarefas adicionais conforme o uso de tokens aumenta — evidência de que a escolha de configuração muda diretamente os números reportados.
O trabalho se soma a outras iniciativas do AISI para tornar a avaliação mais eficiente e rigorosa, como o OptStop, o HiBayES (modelagem bayesiana hierárquica) e a padronização de análise de transcrições. A transparência em nível de transcrição importa não só para reproduzir, mas também para analisar e diagnosticar o comportamento dos modelos.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
