Por que agentes de pesquisa em ML não sofrem overfit? Estudo da Amazon aponta a compressão

Uma nova pesquisa da Amazon Science investiga um enigma no coração do aprendizado de máquina: por que agentes de pesquisa em ML não sofrem overfitting em benchmarks, mesmo após inúmeras rodadas de melhoria iterativa? A resposta, segundo os autores Martin Bertran Lopez e Aaron Roth, está na compressão — e ela também funciona como uma ferramenta de diagnóstico.

O quebra-cabeça do overfitting

No aprendizado de máquina, o objetivo é generalizar, não memorizar. A defesa clássica contra o overfitting é reter parte dos dados — um conjunto de validação consultado repetidamente durante o desenvolvimento, e um conjunto de teste final tocado apenas uma vez. Mas, como os autores lembram, se você consulta um conjunto retido, ajusta o procedimento, reconfere e itera, aquele conjunto deixa de ser “invisível” e vira parte do treinamento.

A pesquisa real em ML se parece exatamente com esse loop: a comunidade avalia modelos nos mesmos benchmarks por anos, num gigantesco processo distribuído de “subir a colina” contra um conjunto retido. Pela lógica dos livros-texto, os leaderboards deveriam estar saturados de modelos ótimos no benchmark e medíocres em qualquer outro lugar. Mas não é o que acontece — estudos com conjuntos de teste totalmente novos mostram que as melhorias transferem de verdade.

A compressão como explicação

Os experimentos com agentes de pesquisa em ML indicam que estratégias bem-sucedidas são altamente compressíveis. Quando a estratégia de um agente vencedor é espremida por um gargalo de informação — em alguns casos, com apenas 16 tokens — um agente novo, sem memória, consegue reproduzir o desempenho do original. Isso é sinal de que a estratégia capturou estrutura real, não dados memorizados.

O reverso também vale: estratégias que genuinamente sofrem overfitting falham no teste de compressão — os ganhos específicos de validação desaparecem quando passam pelo gargalo. A compressão, portanto, serve tanto como explicação quanto como diagnóstico.

LLMs como decodificadores de compressão

O trabalho fecha com uma leitura sobre os próprios modelos de linguagem: como carregam vasto conhecimento de mundo, os LLMs conseguem reconstruir pipelines completos de ML a partir de prompts curtos e enxutos — uma forma concreta de entender por que são tão capazes. Para quem trabalha com agentes de pesquisa automatizados, o recado prático é direto: se uma estratégia de agente não sobrevive a uma descrição compacta, provavelmente está memorizando em vez de generalizar.