O Humanity’s Last Exam (HLE) é um benchmark criado pelo Center for AI Safety e pela Scale AI para testar os limites do raciocínio dos modelos de IA mais avançados. Publicado na Nature em janeiro de 2026, ele reúne mais de 2.500 perguntas de nível especialista cobrindo mais de cem disciplinas acadêmicas — de física e matemática a humanidades. E nenhum modelo passa dele com folga.
O que torna o HLE diferente
Diferente de benchmarks tradicionais como o MMLU (Massive Multitask Language Understanding), onde os modelos modernos já ultrapassam 90% de acerto, as perguntas do HLE não podem ser respondidas por memorização. Elas exigem raciocínio dedutivo complexo e compreensão profunda — e não se limitam a múltipla escolha ou simples recuperação de informação.
O resultado? Mesmo os modelos de fronteira como GPT, Gemini e Claude mal ultrapassam 45-50% de precisão. E, frequentemente, falham por excesso de confiança em respostas erradas, em vez de admitir que não sabem.
O debate: útil ou marketing?
As opiniões sobre o HLE se dividem em três grandes campos:
Cerca de 60% dos especialistas consideram o benchmark necessário. O argumento é técnico: benchmarks anteriores ficaram saturados, impossibilitando comparar modelos de ponta entre si. O HLE também mede algo crucial: se a IA está disposta a dizer “não sei” em vez de alucinar diante de problemas complexos.
Aproximadamente 30% são céticos. Para este grupo, o teste não avalia o desempenho da IA em cenários da vida real, baseando-se em conhecimento excessivamente acadêmico e obscuro. Alguns engenheiros ironizam: assim que a IA passar dos 90% no HLE, as empresas correrão para criar o HLE 2, consolidando uma “roda de hamster” de marketing.
Uma minoria aponta erros no próprio benchmark. Discussões em fóruns de data science identificaram questões com respostas incorretas em áreas de nicho como química e matemática avançada. Ironicamente, foram os próprios sistemas de IA mais poderosos que começaram a detectar esses erros.
O que fica do debate
Há um consenso emergente: o HLE é útil, mas seu nome é puro drama de marketing. O benchmark não vai determinar o nascimento de uma super IA ou o surgimento da AGI — conceito que já é discutido há anos mas permanece mais na ficção do que na realidade. Ainda assim, é uma ferramenta ambiciosa para discernir qual empresa detém o melhor modelo em termos de memória e capacidade lógica.
O veredito mais aceito? O HLE não é o “último exame da humanidade” — mas é um passo importante para levar a avaliação de IA além dos benchmarks saturados que já não diferenciam mais nada.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
