Teste de estresse: LLMs executam MD5 em 196 chamadas encadeadas

196 chamadas encadeadas, zero margem para erro

Quão confiável é um LLM em uma tarefa longa em que cada passo depende do anterior? Essa é a pergunta que um novo pré-print do arXiv responde com um teste de estresse engenhoso: fazer o modelo calcular o hash criptográfico MD5 passo a passo, em uma sequência de 196 chamadas de ferramenta encadeadas ao longo de 64 rodadas, carregando quatro palavras de 32 bits no próprio contexto.

A escolha do MD5 não é acadêmica por acaso. Um hash criptográfico é a tarefa ideal para isolar uma capacidade específica: o rastreamento de estado em horizonte longo. Cada passo depende exatamente do anterior, não há atalho, e a resposta final só está correta se o estado intermediário foi carregado sem erro ao longo de toda a cadeia.

O problema da avaliação atual

Os benchmarks de agentes existentes relatam sucesso de ponta a ponta, mas, segundo os autores, confundem a dificuldade de rastrear estado com a interpretação de instruções, não oferecem um grupo de controle que a isole e são vulneráveis a atalhos como uma resposta final alucinada. Por isso não conseguem explicar por que uma execução longa falha.

O ponto central é a matemática da cascata de erros: uma acurácia por passo que parece excelente isoladamente decai de forma catastrófica quando o sucesso de ponta a ponta exige que todos os passos estejam certos.

Por que isso importa

Agentes de produção cada vez mais executam fluxos longos: pipelines de dados, orquestrações de API, operações em múltiplas etapas. Se a cada passo o modelo tem 99% de chance de acertar, em 196 passos a chance de sucesso cai para cerca de 14%. O estudo coloca um número concreto nessa intuição e fornece um teste limpo para medir — e comparar — a robustez de rastreamento de estado entre modelos.

Como pré-print, os resultados precisam de replicação. Mas a metodologia já serve de alerta: avaliar um agente pela resposta final é insuficiente quando o que está em jogo é a integridade do estado ao longo de toda a execução.