A Hugging Face anunciou a integração do padrão Every Eval Ever (EEE) diretamente nas páginas de modelos da plataforma, em parceria com a EvalEval Coalition. A mudança resolve um problema antigo: os mesmos modelos recebem pontuações dramaticamente diferentes no mesmo benchmark dependendo de quem rodou e como — o LLaMA 65B, por exemplo, já foi reportado com 63,7 e 48,8 no MMLU.
O problema que o EEE resolve
Resultados de avaliação hoje estão espalhados em papers, leaderboards, blog posts e logs de harness, cada um em formato diferente. As mesmas discrepâncias que vimos no LLaMA se repetem em dezenas de modelos: diferenças de 15-20 pontos no mesmo benchmark por causa de configurações de geração, prompting e sampling que raramente são documentadas.
O EEE é um schema JSON unificado que registra, para cada resultado: quem rodou, qual modelo, como foi acessado (API, peso aberto, fine-tuned), configurações de geração, prompt template usado e metadados de avaliação. Tudo padronizado e verificável.
O que muda nas páginas de modelos
A integração com os Community Evals da Hugging Face significa que, ao visitar a página de qualquer modelo no Hub, você verá resultados de avaliação no formato EEE — com rastreabilidade completa de quem rodou e sob quais condições. Os resultados também alimentam leaderboards interativos embutidos diretamente nas páginas, sem precisar sair do Hub.
Por que isso importa para o ecossistema
O anúncio ataca diretamente a crise de reproducibilidade na avaliação de LLMs. Sem um padrão de metadados, não dá para saber se o modelo A supera o modelo B por mérito técnico ou porque alguém usou um prompt melhor. O EEE resolve isso com um formato que captura as variáveis que realmente afetam os resultados.
O projeto é liderado pela EvalEval Coalition — primeira iniciativa cross-institucional para melhorar como resultados de avaliação de IA são reportados, envolvendo pesquisadores de múltiplas organizações. A Hugging Face entra como plataforma de distribuição, colocando os resultados padronizados onde os desenvolvedores já estão: nas páginas dos modelos.
Limitações
O EEE cobre a camada de report — ele não resolve vieses nos próprios benchmarks nem garante que os avaliadores rodaram corretamente. Ainda depende da honestidade de quem reporta. Mas ao exigir metadados estruturados, ele torna muito mais fácil detectar quando um resultado é suspeito ou não-comparável.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
